AI 聊天機器人的網路釣魚隱憂
進階 AI 時代的網路釣魚演變
先進的深度神經網路是一種用於實作人工智慧 (AI) 的機器學習技術，由於該技術能夠翻譯語言、撰寫詩篇和產生推文和進行其他創意工作，數年來一直佔據新聞頭條。
近期，GPT-4 及其處理器 ChatGPT — 這兩種使用深度學習的對話式 AI 模型已被吹捧為即將「變革所有人的工作方式」的「規則顛覆者」。相較於傳統的聊天機器人，GPT-4（Generative Pretrained Transformer 4，產生型預先訓練轉換程式 4）和 ChatGPT 的功能要多得多。他們能夠對問題與要求產生更像人類的文字答案，也能夠「瞭解」搜尋查詢或書寫「對話」的脈絡，並解讀使用者查詢背後的涵義。ChatGPT 的獨特功能使其成為歷史上成長最快速的消費者應用程式。
AI 聊天機器人能夠協助人們蒐集極度與人類相似的回應，甚至是建立特定應用程式。在某種程度上，其功能已引起擔憂，這可能被駭客用於建立網路釣魚活動。
若要更好地瞭解 GPT-4 和 ChatGPT 的網路安全隱憂，必須瞭解其如何接受「訓練」來寫出網路釣魚活動的內容，以及簡易的網路釣魚活動與高度個人化、鎖定目標的網路釣魚活動之間的差異。
從雲端儲存服務到加密貨幣，攻擊者過去一律是利用最新的趨勢與技術。因此，產生型 AI 服務的興起對組織而言是重要的警鐘，提醒他們必須確保其電子郵件安全性，能夠封鎖進階網路釣魚活動，無論撰寫該訊息的作者（或程式）為何。
使機器瞭解並產生文字
採用現今 AI 聊天機器人的模型在自然語言處理 (NLP) 中代表著新的里程碑；NLP 是 AI 的分支，能夠讓機器「瞭解」文字或口述字詞，並以與人類非常相似的方式回應。NLP 將規則型人類語言建模與各種模式結合，協助電腦瞭解所處理的內容。
多種應用程式（例如社交媒體監控工具和 Siri 這類語音助理）使用 NLP 已有多年。但毫無疑問，依據數十億筆文字和影像參數來接受訓練的 ChatGPT 和 GPT-4 更為進階。
它們各自代表著一種所謂的「大型語言模型」，也就是一種經過訓練的神經網路型 NLP 模型，能夠對於指定詞組預測出最符合邏輯的下一個接續字詞。此訓練技巧也被發現能夠產生善於處理多種其他工作的 NLP 模型。
OpenAI（ChatGPT 和 GPT-4 的創作者）應用此技巧的方式代表了一個重大的里程碑。OpenAI 使用新穎的技巧，將人類的意見併入所產生的文字或影像，並運用專屬的訓練來遵循提示中的指示。因此，其模型會經過微調，以產生更細 微且與人類相似的對話。
由 ChatGPT 和 GPT-4 產生且善於表達的回應是出於善意。但是，網路罪犯可能會利用其功能作為開發網路釣魚活動的工具。
濫用 AI 聊天機器人
網路釣魚是資料外洩最常見的原因，也是勒索軟體最常用的進入點。
由於網路釣魚電子郵件會以社交工程方式模仿合法的實體，因此乍看之下可能難以識別。但是，以歷史記錄來看，常見的網路釣魚訊息（尤其是由不會說/寫受害者母語之罪犯所產生的訊息）識別項包含極差的文法、拼錯或誤用的文字，以及不適當的句子結構。
2023 年 1 月，威脅情報公司 Recorded Future 報告指出，ChatGPT 可能會被網路罪犯用於建立仿真網路釣魚訊息等活動。
Recorded Future 發現，在 ChatGPT 推出的幾週內，暗網和特殊存取權來源的威脅執行者就分享了具備惡意軟體、社交工程和錯誤資訊等功能的概 念驗證 ChatGPT 對話。
也有報告指出，攻擊者會利用 ChatGPT 和 GPT-4 的人氣，例如：
研究人員發現，有多個案例是在網路釣魚網站中偽造來自 OpenAI 的 ChatGPT 名稱與影像，以散播惡意軟體或竊取信用卡資訊。
還有假冒的 ChatGPT 應用程式會在下載、部署網路釣魚活動之後竊取使用者的資訊。
就在 GPT-4 推出之後，詐騙者便開始寄送網路釣魚電子郵件，以及透過推文傳送有關假冒 OpenAI 權杖的網路釣魚連結。
技術上而言，OpenAI 禁止將其模型用於「產生惡意軟體」、「對經濟有高度傷害的活動」、「詐騙或詐欺活動」和任何其他非法活動。其模型不會撰寫網路釣魚電子郵件，也不會在要求下協助建立網路釣魚網站；但是他們可能會簡化駭客建立網路釣魚活動的方式。姑且不論其他，AI 聊天機器人讓所有人（包括攻擊者）都有機會快速強化其寫作技巧。
如果落入惡人之手，ChatGPT 和 GPT-4 可能會被利用來建立更仿真、撰寫更完善的網路釣魚訊息和網站，能夠規避傳統的電子郵件安全性或反網路釣魚過濾程式。
AI 聊天機器人是否能夠客製化網路釣魚活動？
攻擊者知道，他們只需要引誘一位受害者進行一次點擊或對話，就能夠竊取憑證、資訊或金錢。這一點在鎖定求職者的「虛假工作」網路釣魚攻擊、鎖定捐款者的假冒慈善機構詐騙，以及鎖定線上交友者的交友詐騙等都可清楚看出。
現在，最強大的神經網路無法「瞭解」一般老百姓的個人詳細資料或任意公司的特定組織和通訊結構。但是，攻擊者將 AI 聊天機器人的功能結合對其預期受害者進行的充足研究後，就能夠大規模訂製出網路釣魚訊息，讓使用者更難以發現惡意電子郵件。
網路罪犯已在使用高度針對性、數量低的商務電子郵件入侵 (BEC) 攻擊，以成功對組織進行詐騙。BEC 通常會模仿特定員工或預期受害者定期通訊的執行階層。廠商電子郵件入侵 (VEC) 是 BEC 的一種，其基礎是入侵信任的第三方（例如廠商或供應商）帳戶，而且會對映先前交換過的訊息。因為 BEC 和 VEC 都會利用「信任的」關係，所以能夠規避傳統的安全電子郵件閘道與驗證。BEC 攻擊已經在全世界造成企業損失超過 430 億美元。
透過 Zero Trust 封鎖所有管道的網路釣魚
攻擊者一直都會利用對他們有利的新技術。幸運的是，網路安全創新能夠識別越過舊式防禦或使用者認知的惡意訊息。過去幾年來已建立和訓練一些精密的機器學習模型來檢驗多種訊號（而不僅僅是文字或影像），以便偵測和封鎖網路釣魚。
電子郵件訊息的標頭和中繼資料欄位中含有大量的額外資訊，包括電子郵件寄件者、來源伺服器基礎架構及其傳輸路徑等相關資訊。除了標頭之外，訊息中的其他詳細資料，例如特定 URL 和連結、附件、通訊群組清單成員、語調等等，都需要加以評估。
Cloudflare 的先佔式電子郵件安全性是其 Zero Trust 平台的一部分，會查看電子郵件內容所產生的多個 訊號，包括以下內容：
情緒分析，用於偵測模式與行為（書寫模式與表達）中的變更
結構分析，使用專門設計的啟發式和機器學習模型來進行標頭、本文、影像、連結和負載的結構分析
信任圖表，用於評估合作夥伴社交圖表、傳送記錄，以及可能的合作夥伴假冒
Cloudflare 也會運用從每天封鎖的平均 1120 億個網路威脅和每天 2,1200 億個 DNS 查詢中收集的情報。透過這份情報，Cloudflare 客戶就能夠封鎖惡意網域、使其使用者免於接觸可疑的 Web 內容、避免使用者在網路釣魚網站上洩漏憑證，以及在不同的攻擊手段間阻止網路釣魚。
這些技巧和其他技巧都有助於防止攻擊者利用使用者在業務通訊中的盲目信任。整體方法（將 Zero Trust 延伸至威脅防禦）以三個核心原則為基礎：
假定違規：假定隨時都在發起網路釣魚活動；掃描網際網路已主動獵捕攻擊者基礎結構，並在網路釣魚攻擊入侵收件匣之前加以封鎖。
從不信任：不要因為業務通訊設定了電子郵件驗證、來自有聲譽的網域，或是來自企業使用者過去通訊過的寄件者，而隨便加以信任。
始終驗證：不斷驗證所有使用者與要求，即使是在企業網路內部亦然。
攻擊者顯然會使用任何可立即使用的工具（例如新的 AI 聊天機器人）來提升其攻擊手法。持續防禦或等候判斷新的網路威脅是否為事實，可能會讓組織暴露在更大的風險中。相反地，「假定違規」、「從不信任」「始終驗證」能夠更完善地抵禦任何網路釣魚活動。
Cloudflare 就影響當今技術決策者的最新趨勢和主題發表了一系列文章，本文為其一。
深入探討這個主題。
若要探索 Cloudflare 偵測和封鎖之網路釣魚活動的類型，請使用自我引導式電子郵件安全示範。
重點
閱讀本文後，您將能夠瞭解：
對話式 AI 聊天機器人如何產生文字
攻擊者如何利用 ChatGPT 或 GPT-4 來建立網路釣魚活動
如何防禦 AI 產生的網路釣魚威脅