政府機關的 AI 聊天機器人實戰手冊
如何建立、保護和管理 AI 驅動的助理
當我與政府機構的科技領導人會面時，他們經常告訴我，他們實施的第一個生成式人工智慧 (GenAI) 工具就是 AI 聊天機器人。事實上，截至 2025 年 1 月，所有已記錄的 GenAI 應用案例中，有 80% 都涉及聊天機器人與 AI 驅動的虛擬助理。大多數機構都是從面向員工的內部聊天機器人開始，以確保他們對這項技術感到自在，並對成果感到滿意，之後才會開發面向客戶的外部應用。
州和地方政府機構現在也同樣熱衷於部署他們第一個由 AI 驅動的聊天機器人。與此同時，已完成內部部署的聯邦政府機構則正規劃推出面向外部的聊天機器人。
這些 AI 聊天機器人與多年來一直使用的傳統聊天機器人不同。傳統（基於規則）聊天機器人遵循固定的指令碼，非常適合用於處理簡單任務，但遇到「脫離指令碼」的問題時就無能為力。而 AI（對話式）聊天機器人則運用自然語言處理 (NLP)、機器學習 (ML) 以及大型語言模型 (LLM)，來理解使用者意圖、掌握上下文脈絡、持續學習與改進，並整合資料以針對複雜問題提供全面的回答。
AI 聊天機器人無需人工幹預即可提供快速、一致且合規的回應。但它們的建置、安全保障和管理卻並非易事。要建立聊天機器人，首先需要找到一個能夠快速見效並提供所需體驗的應用場景，然後最佳化設計，選擇合適的 LLM，並將該模型與精心整理的資料來源成功整合。
他們還必須保護聊天機器人免受攻擊和惡意行為的影響。同時，他們必須建立有效的治理機制，確保模型不會提供不準確或不恰當的回應，因為這可能導致決策失誤、助長詐欺、危及監管合規性，並最終損害使用者信任。
儘管面臨諸多挑戰，但毫無疑問，聯邦、州和地方政府機構正在推動 AI 聊天機器人的實作。遵循以下四個最佳做法可以幫助您的組織最大限度地發揮這些 AI 支援服務的價值，同時最大限度地降低潛在的嚴重風險。
1. 找到合適的使用情境
建立 AI 聊天機器人首先要遵循與其他應用程式相同的原則：理解問題、以使用者為中心進行設計，並根據回饋進行迭代。對於您的第一個 AI 聊天機器人部署，請專注於解決一個具體、明確且使用量大的問題，例如回答常見問題。在規劃第一個專案時，請考慮其外部和內部用途。此外，還可以考慮將聊天機器人用於問題分類——使用者互動的第一道防線，用於確定解決問題的最佳方案。
隨著時間的推移，您可以納入更多功能來支援更複雜的問題。例如，您可以整合翻譯功能，同時支援語音和文字，並連接到多個系統。
外部使用情境
面向客戶或公民的外部聊天機器人可以涵蓋廣泛的功能。以下僅舉幾例：
美國公民及移民服務局實作了名為「EMMA」的聊天機器人，協助處理與移民服務、綠卡、護照等相關的公眾請求。
亞特蘭大市改善了 311 服務，提供全天候非緊急援助。居民可以隨時報告路面坑洞或查詢垃圾收集時間表。
南卡羅來納州正在推出名為「Bradley」的全新 AI 支援「居民助理」，該助理將協助使用者找到常見問題的答案，並獲得繳稅、處理水費等方面的幫助。
外部聊天機器人可以設計為支援匿名查詢或提供個人化資訊。例如，市政網站的聊天機器人可以匿名提供有關房屋建造許可證或即將舉行的活動的通用資訊。而勞工、稅務或車輛管理機構的網站則可以提供個人化回复，其中包含有關個人具體申請、納稅申報或車輛的資訊。
內部使用情境
與我交談過的大多數公共部門 IT 領導者都專注於面向員工的內部聊天機器人。內部聊天機器人使用檢索增強生成 (RAG) 技術來利用內部資料。它們可以幫助員工快速找到資訊並完成可能複雜的流程，而無需依賴同事。
與外部聊天機器人一樣，這些內部工具也可以建構成提供個人化回應或更通用的資訊。例如：
HR 聊天機器人可以引導員工完成入職流程，例如美國總務管理局 (GSA) 於 2015 年推出的「Mrs. Landingham」Slack 聊天機器人。HR 聊天機器人也可以根據每位員工的個別情況，提供關於福利、薪酬與休假等相關資訊。
IT 聊天機器人可以提供技術支援，協助員工解決常見的支援工單，例如密碼重設要求或安裝新軟體。
案件管理聊天機器人可以協助社工人員與福利審核人員快速查閱相關規定、彙整案件歷程，並從內部系統中提取特定資訊。
聊天機器人在問題分類方面表現出色——能夠處理常見問題，並判斷哪些問題需要轉交給真人處理。只要設計得當，它們就能為任何客服中心提升生產力，並大幅縮短使用者的回覆等待時間；若該聊天機器人是用來支援 IT 服務台或其他關鍵功能，這一點尤為重要。如此一來，人工客服就能專注於處理更複雜、更細緻、更特殊的問題。
2. 組裝基礎技術
無論貴組織計劃建立外部聊天機器人還是內部聊天機器人，都需要相同的基本要素：模型、資料集和資料擷取方法。
LLM
大多數公共部門機構會 選擇現有的 LLM，而不是耗費大量時間和金錢自行建立模型。您可以選擇商業 LLM，例如 OpenAI 的 ChatGPT，或是開放原始碼 LLM，例如 Meta 的 Llama。
在評估不同模型時，請考慮功能、安全性和成本。例如，您可能需要一個能夠處理多模態輸入輸出（例如文字、影像和音訊）的聊天機器人，而不僅僅是文字。您可以選擇開放原始碼模型，以便在您自己的可控環境中託管該模型，從而最大限度地提高安全性。開放原始碼模型也能讓您避免訂閱費用，以及商業提供者可能昂貴的依詞元收費模式。
資料集
如果您希望聊天機器人掌握特定知識，則需要為 LLM 提供資料集。根據具體使用情境，該資料集可能包括州內所有人的車輛登記資訊、您所在機構的人力資源政策，或包含縣級重要記錄的文件庫。為了支援聊天機器人，資料應保存在向量資料庫中，該資料庫的結構使 LLM 能夠記住先前的輸入。
RAG
最後，您需要一種方法將 LLM 與該資料來源整合，以便您的聊天機器人能夠向使用者提供相關資訊。RAG 會利用該資料來源中的資訊增強使用者提示，然後查詢 LLM。LLM 隨後會根據新的上下文合成答案，而不是依賴其通用的訓練資料。
3. 不要倉促設計
精心設計聊天機器人的介面、平台支援以及與其他內容的關聯性，是確保其成功採用的關鍵。首先進行使用者研究，然後為聊天機器人設定一個有限的範圍，例如它將涵蓋的特定主題或某種類型的問答模式。收集資料和回饋，以持續改進機器人的效能和知識庫。
為了最大限度地提高實用性和包容性，請考慮在多個通路部署聊天機器人，包括您的網站、行動應用程式和簡訊平台。支援多種語言（英語和西班牙語通常是優先考慮的語言）以提高可存取性。
另請註意，聊天機器人的內容必須與其他網站/常見問題內容相互配合。聊天機器人是提供資訊的一種工具，其目的是以接近人與人互動的方式來傳遞資訊，但它並不能取代以其他方式呈現資訊的需求。
4. 強化安全性與治理
設計和建立聊天機器人只是整個過程的一部分。您還需要有效的方法來保護和治理它——這涉及控制流入和流出聊天機器人的資料。
控制輸入
為防止 AI 系統被操縱，對使用者提示設定防護措施至關重要。尤其需要團隊保護模型，並監控提示是否存在關鍵威脅，例如：
提示插入與越獄攻擊：使用者可能會嘗試輸入惡意程式碼，以覆寫聊天機器人的規則，或誘使模型繞過安全設定。
不當提示：有些使用者可能會故意輸入仇恨言論或露骨內容，企圖讓模型回應不當資訊。這樣的行為不僅浪費運算資源，如果聊天機器人回以類似的不當內容，最終還可能損害組織的聲譽。
監控輸出
您也必須預防可能出現的問題性輸出，包括不準確的回覆。例如，紐約市為小型企業主推出的 MyCity 聊天機器人曾被人詢問：餐廳是否可以提供被老鼠咬過的起司？而該聊天機器人給出的答案是，只要餐廳評估老鼠造成的損壞程度，並告知顧客，仍然可以提供那塊起司——這顯然是錯誤的。
聊天機器人也有可能產生不當或有偏見的回覆，進而損害機構的聲譽並降低公眾信任。在 2025 年一個廣受關注的例子中，xAI 的 Grok 發布了反猶太言論。
AI 防火牆能協助保護輸入與輸出內容，阻擋提示插入、模型投毒、過度使用及其他傳統安全解決方案無法應對的威脅。該防火牆位於網路邊緣，也就是在使用者與模型之間，能防止惡意輸入抵達模型，並避免不當或不符合規範的輸出傳遞給使用者。此防火牆可由政府機構完全掌控，並採用機構自訂的政策進行管理。
開始建置、保護並管理
Cloudflare 提供多種工具，可協助您簡化 AI 聊天機器人的部署流程，且所有工具透過單個統一平台使用。例如，Cloudflare 讓您的團隊能夠使用向量資料庫、零輸出費用的全球物件儲存體以及用於啟用 RAG 模式的服務建立聊天機器人的後端，而無需管理基礎架構。
接下來，您可以在 Cloudflare 的全球網路上建置並部署由 AI 驅動的聊天機器人。AI Gateway 服務讓開發人員能夠將多個 LLM 整合至聊天機器人中，同時獲得一個統一的控管與可觀測性入口，用以管理 AI 應用程式的流量。再透過實作內嵌式的 Firewall for AI 服務（已整合至 Cloudflare 全球網路中），即可有效保護提示與輸出內容。
毫無疑問，聊天機器人能夠協助滿足使用者對即時服務的期待，同時也符合當前政府追求更高效率的趨勢。然而，花時間仔細設計您的聊天機器人，並實施足夠的安全措施與治理機制，將是實現目標的關鍵所在。
Cloudflare 就影響當今技術決策者的最新趨勢和主題發表了一系列文章，本文為其中之一
作者
Dan Kent — @danielkent1
Cloudflare 公共部門現場技術長
重點
閱讀本文後，您將能夠瞭解：
如何為您的組織找出最合適的聊天機器人使用案例
您需要選擇和整合哪些關鍵技術
加強安全性和管理聊天機器人的策略
相關資源
深入探討這個主題。
閱讀《確保安全 AI 做法：CISO 可擴展的 AI 策略制定指南》，深入瞭解如何在確保安全的前提下，支援聊天機器人等 AI 服務的實施。