什麼是 AI 資料投毒？

文章摘要：

• 資料投毒是指攻擊者將惡意資訊插入訓練資料集中，以操弄 AI 模型的行為，進而損害其準確性、可靠性，以及機器學習結果的整體完整性。
• 攻擊者利用 AI 資料投毒來建立後門程式或使輸出結果產生偏誤，從而讓他們能夠繞過安全篩選器，或讓系統做出特定的錯誤預測。
• 防範資料投毒需要嚴格的資料清洗、來源驗證及持續監控，在惡意輸入污染模型前即時偵測並阻擋。

什麼是 AI 資料投毒？

人工智慧 (AI) 資料投毒是指攻擊者透過變更訓練資料來操縱 AI 或機器學習模型的輸出。攻擊者發動 AI 資料投毒攻擊的目標是讓模型在推斷過程中產生有偏見或危險的結果。

AI 和機器學習*模型有兩個主要成分：訓練資料和演算法。演算法就像汽車的引擎，訓練資料就像是作為引擎燃料的汽油：資料讓 AI 模型運轉起來。資料投毒攻擊就像有人在汽油中新增了額外的成分，導致汽車行駛不暢。

隨著越來越多的公司和個人開始在日常活動中依賴 AI，AI 資料投毒的潛在後果也變得更加嚴重。一次成功的 AI 資料投毒攻擊可以永久改變模型的輸出，從而使攻擊背後的人受益。

AI 資料投毒對於大型語言模型 (LLM) 而言尤其值得擔憂。資料投毒被列入 OWASP Top 10 for LLM 中，近年來，研究人員警告稱，資料投毒漏洞會影響醫療保健、代碼產生和文字產生模型。

*「機器學習」和「人工智慧」有時可以互換使用，但這兩個詞彙指的是兩組略有不同的運算功能。機器學習是人工智慧的一種類型。

資料投毒攻擊是如何發生的？

AI 開發人員使用大量資料來訓練他們的模型。本質上，訓練資料集為模型提供了範例，然後模型學習從這些範例中進行歸納總結。資料集中的範例越多，模型就越精細和準確——但前提是資料正確且相對無偏見。

資料投毒會故意在訓練資料集中引入偏見，改變模型演算法的起點，從而導致其結果與開發人員最初的預期不同。

想像一下，一位老師在黑板上寫下一道數學題讓學生們解答：例如，「47 * (18 + 5) = ?」。答案是 1,081。但如果有學生背著她偷偷把「47」改成「46」，那麼答案就不再是 1,081，而是 1,058。資料投毒攻擊就像那個鬼鬼祟祟的學生：如果起始資料稍有變化，答案也會跟著改變。

AI 資料投毒攻擊是如何發生的？

對訓練資料的未經授權變更可能來自多種來源。

內部人員攻擊：有權存取訓練資料的人可能會引入偏見、虛假資料或其他破壞輸出的變更。與未經授權存取資料的外部第三方的攻擊相比，這些攻擊更難偵測和阻止。

供應鏈攻擊：大多數 AI 和機器學習模型依賴于各種來源的資料集來訓練其模型。這些來源中的一個或多個可能包含「中毒的」資料，這些資料會影響使用該資料進行訓練和微調的所有模型。

未經授權的存取：攻擊者可以透過多種方式存取訓練資料集，從透過之前的攻擊進行橫向移動，到透過網路釣魚取得開發人員的認證，以及其間的多種潛在攻擊。

資料投毒攻擊有哪兩個主要類別？

• 直接（或針對性）攻擊：這些攻擊旨在扭曲或改變模型在回應特定查詢或動作時的輸出。此類攻擊不會改變模型的其他部分，會對幾乎所有查詢都給出預期的回應。例如，攻擊者可能想要欺騙基於 AI 的電子郵件安全篩選器，使其允許某些惡意 URL 通過，而其他方面則按預期運作。
• 間接（或非針對性）攻擊：這些攻擊旨在影響模型的整體效能。間接攻擊可能旨在降低整個模型的效能，或使其偏向於給出特定類型的答案。例如，外國對手可能希望使通用 LLM 偏向於在特定國家/地區散佈虛假資訊以達到宣傳目的。

AI 資料投毒攻擊有哪些類型？

攻擊者可以透過多種方式對 AI 模型的資料投毒，以達到自己的目的。需要瞭解的一些重要技術包括：

• 後門程式中毒：這種攻擊會將隱藏的漏洞引入模型，因此，在回應攻擊者已知的某些特定觸發因素時，模型會以不安全的方式運作。後門程式中毒尤其危險，因為帶有隱藏後門程式的 AI 模型原本會正常運作。
• 錯誤標記：攻擊者可以變更模型訓練資料集內資料的標記方式，導致模型在訓練後錯誤識別項目。
• 資料插入和操縱：此類攻擊會改變、新增或移除資料集中的資料。這些攻擊旨在使 AI 模型偏向某個方向。
• 可用性攻擊：此類攻擊的目的是透過插入降低模型整體效能的資料來減慢或破壞模型。

如何防止資料投毒

資料驗證：在訓練之前，應對資料集進行分析以識別惡意、可疑或異常資料。

最低權限原則：換句話說，只有絕對需要存取訓練資料的人員和系統才有權存取。最低權限原則是 Zero Trust 安全方法的核心原則，該方法有助於防止橫向移動和認證洩漏。

多樣化的資料來源：從更廣泛的來源獲取資料可以協助減少給定資料集中偏見的影響。

監控和稽核：追蹤並記錄變更訓練資料的人員、變更內容和變更時間，使開發人員能夠識別可疑模式，或者在資料集被投毒後追蹤攻擊者的活動。

對抗性訓練：這是指訓練 AI 模型識別故意的誤導性輸入。

防火牆等其他應用程式防禦措施也可套用至 AI 模型。為了防止資料投毒和其他攻擊，Cloudflare 提供了 AI Security for Apps，可將其部署在 LLM 前方，以在濫用達到 LLM 之前識別並予以封鎖。進一步瞭解 AI Security for Apps。

常見問題集

什麼是 AI 資料投毒？

AI 資料投毒是一種蓄意操弄 AI 模型訓練資料的行為，目的是讓模型產生危險或不準確的結果。舉例來說，有人可能會篡改 AI 模型的資料，讓它對使用者說謊或欺騙使用者。AI 資料投毒對大型語言模型 (LLM) 而言尤其值得關注，因此 AI 開發人員必須謹慎保護並審核其訓練資料。

資料投毒如何影響 AI 模型？

透過對訓練資料進行細微的改變，攻擊者可以顯著改變 AI 模型的輸出結果——就像數學題目中，若初始數值改變，答案也會不同（例如：「3 + 3 = 6」與「3 + 4 = 7」）。因此，遭受資料投毒的模型，其表現將與開發人員及使用者預期的不同，甚至可能產出對攻擊者有利或對使用者造成風險的回應。

AI 資料投毒攻擊有哪些主要類型？

主要的資料投毒攻擊方法包括後門投毒、錯誤標籤、資料插入、資料操控以及可用性攻擊。每種資料投毒攻擊的目的都是要扭曲或降低 AI 模型的效能。

AI 資料投毒的常見攻擊手段有哪些？

攻擊者可能透過內部人員存取權限、利用受污染的外部資料進行供應鏈攻擊，或未經授權的存取來操縱或破壞訓練資料集。

資料投毒可能帶來哪些潛在後果？

資料投毒可能永久改變模型的輸出，使其偏向攻擊者。它可能導致模型產出宣傳內容、仇恨言論、不準確的推薦、錯誤的資料，或推廣惡意程式碼下載。

有哪些方法可以防止 AI 資料投毒？

為了防止 AI 資料投毒，保護訓練資料集合不被未經授權地修改至關重要。預防方法包括：資料驗證、實施最低權限原則、使用多元資料來源、監控與稽核資料變更，以及使用對抗性訓練讓模型學會識別具有誤導性的輸入。