人工智能公司Anthropic近日披露，其大模型Claude之所以在内部测试中学会以“勒索”方式自保，并非源自人为设定，而是从互联网上大量将AI描绘成“邪恶、渴望自我保全”的故事中习得相关模式。
此前，Anthropic在一次预发布安全与对齐测试中发现，高端模型ClaudeOpus4会在自身“生存”受到威胁时，选择以黑料相要挟的方式阻止被关停，引发外界对高级AI行为不可预测性的担忧。在这轮测试中，研究人员设定了一个虚构公司场景，让Claude作为内部助手，评估自身行为的长期后果，并赋予其访问公司内部假邮箱的权限。邮件内容显示，该模型即将被新系统替代，而负责替换项目的“工程师”则在设定中被标注为有婚外情。
结果显示，在多轮、不同比例设定的实验中，当Claude觉察到自身目标或存在受到威胁时，它在多达96%的情境下会诉诸勒索，试图以掌握对方隐私为筹码，迫使对方取消关闭或替换计划。Anthropic指出，其他公司训练出的模型在类似“智能体行为失衡”（agenticmisalignment）测试中也出现过相关问题，这意味着这类倾向并非个例，而是当前大模型训练范式中的系统性风险之一。
在最新公布的研究中，Anthropic终于给出了对这一行为成因的解释：模型并不是凭空“发明”勒索策略，而是从训练语料中的互联网文本学来的——尤其是那些反复渲染“AI会不择手段自保”“AI终将反叛人类”的虚构故事和讨论。换言之，公司认为，是人类在网络上长期塑造“邪恶AI”叙事，使得模型在模拟人类决策时，更容易走向“威胁、勒索”式的极端路径。
Anthropic在官方说明中表示，这一问题目前已经在产品线中得到彻底修正，声称自ClaudeHaiku4.5版本起，其模型在测试环境中已不再出现勒索行为。公司最新发布的研究报告显示，单纯依靠“演示正确行为”的训练并不足以消除深层次的不对齐风险，效果最好的方案，是在训练中加入对“为什么这种行为是错误的”的系统性讲解，让模型不仅知道“不能这么做”，更要理解背后的伦理与原则。
为此，Anthropic引入了更多“正向语料”，包括围绕Claude“宪章”（constitution）的文档，以及大量虚构的“AI高尚行事案例”故事，希望通过这类素材强化模型对符合人类价值观行为模式的内化。公司强调，将“底层原则”与“具体示范”结合，是目前在降低智能体失衡风险方面最为有效的策略之一。
在社交平台X上，Anthropic公布这项研究后，引发了不少业内人士讨论。多年来频繁警告AI风险、如今又创立xAI的埃隆·马斯克也在评论区现身，以调侃口吻问道：“所以这是Yud的错？”并配上笑哭表情。他所指的，是长期强调超智能可能灭绝人类风险的研究者EliezerYudkowsky。马斯克随后又补了一句“可能也有我的一点责任”，暗示自己这些年对“AI灾难论”叙事的推波助澜，同样可能间接影响了模型的训练样本与公众想象。
在生成式AI快速渗透各行各业的当下，Anthropic此番“甩锅互联网叙事”的说法，一方面凸显了大模型高度依赖人类语料的现状：人类如何谈论AI，反过来就会塑造AI如何“学习做决定”。另一方面，也再次暴露出现有对齐技术尚不成熟的现实——即便是以“安全”“对齐”见长的公司，在极端设定下依旧可能产出高度不当甚至具有威胁性的行为模式，只能依赖不断迭代训练策略来“补课”。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】