AI 聊天机器人对网络钓鱼的影响
高级人工智能时代的网络钓鱼活动演变
最先进的深度神经网络——一种用于实现人工智能(AI)的机器学习技术——几年来一直占据头条，因为它们能够翻译语言、写诗、生成推文或完成其他创造性任务。
最近，GPT-4 及其前身 ChatGPT ——两个使用深度学习的对话式 AI 模型被吹捧为“游戏规则改变者”，将 “改变我们所有人的工作方式。”GPT-4(生成式预训练变换-4)和 ChatGPT 的才艺都远胜于传统的聊天机器人。它们产生近似人类的文本回答问题和请求，能“理解”搜索查询或书面“对话”的上下文，并领会用户查询背后的意图。ChatGPT 的独特功能使其成为历史上增长最快的消费级应用。
AI 聊天机器人可以帮助人们获得令人印象深刻、接近人类的回应，甚至创建某些应用——它们的能力之高已经引起了人们的担忧，担心它们可能被黑客用来发动网络钓鱼攻击。
为了更好地理解 GPT-4 和 ChatGPT 的安全影响，重要的是需要了解如何“训练”它们来编写网络钓鱼活动内容，以及简单的钓鱼活动与高度个性化、有针对性的网络钓鱼活动之间有何不同之处。
攻击者总是利用从云存储服务到加密货币的各种最新趋势和技术。因此，生成式 AI 的出现对组织来说是一个重要的提醒，即需要确保其电子邮件安全工具能够防范高级网络钓鱼活动，无论是谁——或什么——编写内容。
让机器理解并生成文本
驱动当今 AI 聊天机器人的模型代表了自然语言处理(NLP)的全新里程碑。NLP 是人工智能的一个分支，使机器能够“理解”文本或口语，并以与人类几乎相同的方式作出反应。NLP 将基于规则的人类语言建模与各种模型相结合，以帮助计算机理解它们正在处理的内容。
许多应用程序——如社交媒体监控工具和 Siri 这样的语音助手——已经使用 NLP 多年。但是，ChatGPT 和 GPT-4 基于数十亿文本和图像参数训练而成，无疑更加先进。
两者都代表了所谓的“大型语言模型”——一个基于神经网络的 NLP 模型，它被训练来预测对一个给定短语而言，最合乎逻辑的下一个单词是什么。这种训练技术生成的 NLP 模型也能很好地完成很多其他任务。
OpenAI (ChatGPT 和 GPT-4 的创造者)应用此技术是一个重要的里程碑。OpenAI 在训练方面比其他应用更进了一步，它使用新技术将人类的意见纳入产生的文本或图像，并进行专门的训练以遵循提示中的指示。因此，他们的模型已经过调优，以生成更微妙的、人类般的对话。
ChatGPT 和 GPT-4 的善于言辞本意是好的。然而，网络犯罪分子可以利用它们的能力作为开发网络钓鱼活动的工具。
滥用 AI 聊天机器人
网络钓鱼是数据泄露的最常见原因，也是勒索软件的一个常见入口。
因为钓鱼电子邮件以社会工程手段来模仿合法实体，难以一眼识破。然而，从历史上来看，识别网络钓鱼信息(特别是那些由不会讲/写受害者母语的犯罪分子生成的信息)的特征包括语法错误、拼写错误或误用单词以及不正确的句子结构。
2023 年 1 月，威胁情报公司 Recorded Future 报告称，网络犯罪分子可以利用 ChatGPT 进行诸如创建看似真实的网络钓鱼信息等活动。
Recorded Future 发现，在 ChatGPT 发布后数周内，暗网和特殊访问源的威胁参与者正在分享支持恶意软件开发、社会工程和虚假信息的概念 ChatGPT 对话。
有关攻击者利用 ChatGPT 和GPT-4 热度的报道也已经出现，例如：
研究人员发现了数个案例，其中网络钓鱼网站冒用 ChatGPT 和 OpenAI 的名称和图像，用于传播恶意软件或窃取信用卡信息。
已经出现了假的 ChatGPT 应用，下载后会开展网络钓鱼攻击，窃取用户的信息。
GPT-4 发布后不久，骗子就开始发送钓鱼邮件并通过推特发布一种虚假 OpenAI 令牌的钓鱼链接。
技术上，OpenAI 禁止将其模型用于“恶意软件生成”、“具有高经济危害风险的活动”、“欺诈或欺骗性活动”以及任何其他非法活动。他们的模型不会按照请求撰写钓鱼邮件或帮助创建钓鱼网站；然而，它们可以简化黑客创建网络钓鱼活动的方式。至少，AI 聊天机器人可以让每个人，包括攻击者，迅速提高写作技能。
在坏人手中，ChatGPT 和 GPT-4 可能被利用来创建更真实的、编写得更好的钓鱼信息和网站，从而可以避开传统的电子邮件安全或反钓鱼过滤器。
AI 聊天机器人可定制钓鱼活动吗？
攻击者知道，他们只需要引诱受害者进行一次点击或对话，就可以窃取凭据、信息或金钱。这在以下情境中显而易见：以求职者为目标的“假工作”网络钓鱼攻击，以捐赠者为目标的慈善骗局，以及以在线约会者为目标的浪漫诈骗。
今天，最强大的神经网络也不能“知悉”普通公民的个人信息，或任何一家公司的具体组织和通信结构。但是，如果攻击者将 AI 聊天机器人的能力与对目标对象的充分研究相结合，就可以大规模定制钓鱼消息——使用户更难识别恶意电子邮件。
网络犯罪分子已经使用目标性强极的少量商业电子邮件泄露 (BEC) 攻击来成功地欺骗组织。BEC 通常冒充与目标受害者经常联系的特定员工或高管。供应商电子邮件泄漏 (VEC) 是 BEC 的一种形式，它以针对可信的第三方（例如供应商）账户的攻击为基础，并备份之前已交换的消息。因为 BEC 和 VEC 都利用“可信的”关系，所以它们可以避开传统的安全电子邮件网关和身份验证。BEC 攻击给全球企业造成的损失已超过 430 亿美元。
利用 Zero Trust 防止所有渠道的网络钓鱼攻击
攻击者总是会利用新技术来达到目的。幸运的是，安全创新可以识别出绕过传统防御手段或用户意识的恶意信息。多年来，人们创建和训练了复杂的机器学习模型，可以仔细检查许多信号——而不限于文本或图像——以发现和阻止网络钓鱼。
电子邮件的头部和元数据字段中包含大量的附加信息，包括电子邮件从哪里发送、来源服务器基础设施及其传输路径。除邮件头之外，还需要评估消息中的其他细节，如特定 URL 和链接、附件、分发列表成员、语气等等。
Cloudflare 先发制人的电子邮件安全是其 Zero Trust 平台的组成部分，它会查看电子邮件内容生成的多个信号，包括：
情绪分析：检测模式和行为的变化(写作模式和表达)
结构分析：使用专门设计的启发式算法和机器学习模型对头部、正文、图像、链接和有效载荷等信号进行分析
信任图谱：评估合作伙伴的社交图谱、发送历史和潜在的合作伙伴假冒
Cloudflare 还利用了从平均每天 ~2470 亿次网络威胁和 430 亿次 DNS查询中获取的情报。通过这些情报，Cloudflare 客户可以屏蔽恶意域名，将用户与可疑的 Web 内容隔离，防止用户在钓鱼网站上泄露凭据，并阻止使用各种攻击手段的网络钓鱼。
这些技术和其他技术有助于阻止攻击者利用用户对业务通信的隐式信任。总体方法（称为将 Zero Trust 扩展到威胁防御）基于三个核心原则：
先发制人：假设始终有人在准备发动钓鱼活动；扫描互联网以猎寻攻击基础设施，并在钓鱼攻击到达收件箱前予以拦截。
永不信任：不要仅仅因为已设置邮件身份验证、来自声誉良好的域或来自企业用户之前通信过的人而信任商业通信。
始终验证：即使用户和请求处于企业网络内部，也要不断验证每个用户和请求。
攻击者显然会使用任何现成的工具，例如新的 AI 聊天机器人，以改进他们的策略。持续防御，或者等待以确定新的网络威胁是否真实存在，会让组陷入更大的风险。反之，“先发制人”，“永不信任”和“始终验证”，以更好地防范任何钓鱼活动。
Cloudflare 就影响当今技术决策者的最新趋势和主题发布了系列文章，本文为其一。
深入探讨这个话题
若要了解 Cloudflare 检测和拦截的网络钓鱼活动类型，请观看“自助电子邮件安全演示”。
关键要点
阅读本文后，您将能够了解：
对话式 AI 聊天机器人如何生成文本
攻击者能如何利用 ChatGPT 或 GPT-4 创造网络钓鱼活动
如何防范 AI 生成的钓鱼威胁