OWASP LLM 十大風險有哪些？

什麼是 OWASP？

開放式 Web 應用程式安全專案 (OWASP) 是一個以 Web 應用程式安全為核心使命的國際非營利組織。OWASP 透過文件、工具、影片、會議和論壇提供一系列免費資訊，致力於幫助其他組織提高 Web 應用程式安全性。

OWASP Top 10 報告重點介紹了安全專家指出的有關應用程式安全的 10 大關鍵風險。OWASP 建議所有組織將此報告中的見解納入其 Web 應用程式安全性策略中。

2023 年，OWASP 工作組啟動了一個新專案，建立一份重點關注大型語言模型 (LLM) 應用程式威脅的類似報告。OWASP 大型語言模型應用程式十大威脅確定了相關威脅，提供了漏洞和實際攻擊場景的範例，並提供了緩解策略。OWASP 希望提高開發人員、設計師、架構師和管理人員的意識，同時幫助他們防禦威脅。

以下是 2023 年 10 月 OWASP LLM 應用程式十大威脅報告中強調的漏洞：

1. 提示詞插入

提示詞插入是攻擊者操縱 LLM 提示詞的一種策略。攻擊者可能打算竊取敏感性資訊，影響由 LLM 指導的決策過程，或在社交工程方案中使用 LLM。

攻擊者可能會透過兩種方式操縱提示詞：

• 直接提示詞插入（也稱為「越獄」）是覆寫系統提示詞的過程，系統提示詞用於指示 LLM 如何回應使用者輸入。透過這種策略，攻擊者也許能夠存取和利用後端系統。
• 間接提示詞插入是指攻擊者控制用作 LLM 輸入的外部網站、檔案或其他外部來源。然後，攻擊者可以利用 LLM 存取的系統或使用該模型來操縱使用者。

有多種方法可以防止示詞插入造成的損害。例如，組織可以為後端系統實施強大的存取控制策略，將人類整合到 LLM 指導的流程中，並確保人類對 LLM 驅動的決策擁有最終決定權。

2. 不安全的輸出處理

如果組織未能仔細檢查 LLM 輸出，則惡意使用者產生的任何輸出都可能導致下游系統出現問題。攻擊者對不安全的輸出處理加以利用，可能導致 Cross-site scripting (XSS)、跨網站請求偽造 (CSRF)、伺服器端請求偽造 (SSRF)、遠端程式碼執行 (RCE) 和其他類型的攻擊。例如，攻擊者可能會使 LLM 輸出惡意指令碼，經瀏覽器解譯後，導致 XSS 攻擊。

組織可以透過套用 Zero Trust 安全模型，像對待任何使用者或裝置一樣對待 LLM，來防止不安全的輸出處理。他們會先驗證 LLM 的任何輸出，然後再允許它們驅動其他功能。

3. 訓練資料中毒

攻擊者可能試圖操縱（或「下毒」）用於訓練 LLM 模型的資料。資料中毒會阻礙模型提供準確結果或支援 AI 驅動的決策的能力。這種類型的攻擊可能由惡意競爭對手發起，意在損害使用該模型之組織的聲譽。

為了減少資料中毒的可能性，組織必須保護資料供應鏈。作為這項工作的一部分，他們應該驗證資料來源的合法性——包括用於建模的大數據的任何組成部分。還應該防止模型從不受信任的來源抓取資料，並對資料進行淨化。

4. 模型阻斷服務

與分散式阻斷服務 (DDoS) 攻擊類似，攻擊者可能會使用 LLM 執行耗費大量資源的操作，試圖降低服務品質、推高成本或以其他方式擾亂營運。這種類型的攻擊可能躲過偵測，因為 LLM 通常會消耗大量資源，並且資源需求會根據使用者輸入而波動。

為了避免這種類型的阻斷服務攻擊，組織可以對單個使用者或 IP 位址實施 API 速率限制，還可以驗證和清理輸入。此外，他們還應該持續監視資源使用情況，以識別任何可疑的激增。

5. 供應鏈漏洞

LLM 應用程式供應鏈中的漏洞可能會使模型面臨安全風險或產生不準確的結果。LLM 應用程式使用的幾個元件（包括預先訓練的模型、用於訓練模型的資料、第三方資料集和外掛程式）可能會為攻擊創造條件或導致 LLM 應用程式操作出現其他問題。

要解決供應鏈漏洞，首先要仔細審查供應商，確保他們採取了足夠的安全措施。組織還應維護一份最新的元件清單，並仔細檢查提供的資料和模型。

6. 敏感性資訊揭露

LLM 應用程式可能會非故意地在回應中洩露機密資料，包括敏感的客戶資訊和智慧財產權。此類洩露可能構成違反合規性或導致安全性漏洞。

緩解工作首先應該著重於防止機密資訊和惡意輸入進入訓練模型。資料淨化和清理是此類工作的必要部分。

由於構建 LLM 可能涉及跨境資料傳輸，組織還應實施自動資料當地語系化控制，將某些敏感性資料保存在特定區域內。他們可以允許將其他資料納入 LLM 中。

7. 不安全的外掛程式設計

LLM 外掛程式可以增強模型功能，並促進與第三方服務的整合。但是某些外掛程式可能缺乏足夠的存取控制，為攻擊者注入惡意輸入創造了機會。這些輸入可能會引發 RCE 或其他類型的攻擊。

防止外掛程式利用需要更安全的外掛程式設計。外掛程式應該控制輸入並執行輸入檢查，確保沒有惡意程式碼通過。此外，外掛程式應基於最低權限原則實施驗證控制。

8. 過多的自主權

開發人員通常會賦予 LLM 應用程式一定程度的自主權，即根據提示自動採取動作的能力。然而，賦予應用程式過多的自主權可能會導致問題。如果 LLM 產生意外輸出（由於攻擊、AI 幻覺或其他錯誤），應用程式可能會採取潛在的破壞性動作，例如洩露敏感性資訊或刪除檔案。

防止過度自主權的最佳方法是讓開發人員將外掛程式和其他工具的功能、權限及自主性限制在必要的最低水準。執行帶有外掛程式的 LLM 應用程式的組織還可以要求經人工授權後才能執行某些動作。

9. 過度依賴

LLM 並不完美。儘管它們可能以權威的方式提供結果，但有時它們可能會產生事實錯誤的結果、AI 幻覺或有偏見的結果。當組織或個人過度依賴 LLM 時，他們可能會傳播不正確的資訊，從而導致違反法規、法律風險和聲譽受損。

為避免過度依賴問題，組織應實施 LLM 監督政策。他們還應定期審查輸出結果，並將其與其他受信任的外部來源的資訊進行比較，以確認其準確性。

10. 模型盜竊

攻擊者可能試圖存取、複製或竊取專有的 LLM 模型。這些攻擊可能會導致公司競爭優勢下降或模型內敏感性資訊丟失。

套用強大的存取控制，包括基於角色的存取控制 (RBAC) 功能，可以協助防止對 LLM 模型的未經授權存取。組織還應定期監控存取記錄，並對任何未經授權的行為做出回應。資料丟失預防 (DLP) 功能可以幫助發現從應用程式中外泄資訊的企圖。

組織如何保護 LLM？

正如 OWASP 文件所建議的，組織需要採取多方面的策略來保護 LLM 應用程式免受威脅。例如，他們應該：

• 分析網路流量，找出可能表明 LLM 遭入侵的模式，這可能危及應用程式。
• 對與 LLM 互動的封包和資料建立位元層級的即時可見性。
• 套用 DLP 來保護傳輸中的敏感性資料。
• 驗證、篩選和隔離流量，以保護應用程式免受遭入侵 LLM 的影響。
• 採用遠端瀏覽器隔離 (RBI)，讓使用者免受被插入惡意程式碼的模型的影響。
• 使用 Web 應用程式防火牆 (WAF)，這是一組受管理規則集，可封鎖基於 SQL 資料隱碼攻擊、XSS 和其他 Web 攻擊手段的 LLM 攻擊。
• 採用 Zero Trust 安全模型，透過僅授予對每個資源基於背景資訊的最低存取權限來縮小其攻擊面。

Cloudflare 如何幫助降低 LLM 風險？

為了協助組織應對威脅 LLM 應用程式的風險，Cloudflare 正在開發 Firewall for AI，這是一款專為 LLM 應用程式設計的進階 WAF。組織將能夠在 LLM 前部署 Firewall for AI，以偵測漏洞並識別濫用，防止它們到達模型。它將利用 Cloudflare 的大型全球網路，在靠近使用者的位置執行，以便及早發現攻擊並保護使用者和模型。

此外，Cloudflare AI Gateway 提供一個 AI 操作平台，用於從統一介面管理和擴展生成式 AI 工作負載。它充當組織服務與其介面提供者之間的代理，協助組織觀察和控制 AI 應用程式。

如需有關 OWASP LLM 十大威脅的更深入資訊，請參閱官方報告。