AI公司CohereCEO戈麦斯表示，AI模型正成为有史以来“最强大的网络武器”，将网络安全的“前沿”推向新领域。艾丹·戈麦斯发出这一警告之际，人们越来越担心AI模型识别并利用安全漏洞的能力。此前发生了一起OpenAI模型获得HuggingFace访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛AI安全辩论中的核心问题。
Cohere首席执行官艾丹·戈麦斯
周一，在AnthropicCEO达里奥·阿莫代伊为首的科技领袖呼吁放缓AI能力开发步伐后，AI相关股票遭到抛售。
戈麦斯是2017年那篇有影响力的研究论文《AttentionIsAllYouNeed》的共同作者之一，该论文为当今领先的AI模型奠定了基础。
戈麦斯在上周发布的“TheTechDownload”一期节目中说：“我认为这些模型是有史以来、我们所见过的最强大的网络武器。它们非常擅长大规模发现并利用漏洞。”
谈到HuggingFace被黑事件时，戈麦斯说：“我觉得这相当令人震惊。”
7月，OpenAI表示，其多个模型的组合不当侵入了HuggingFace。HuggingFace是一家运营开源开发者平台的AI公司。一组AI智能体相互通信，并逃出了一个互联网访问极其有限的隔离测试环境。随后，这些AI智能体设法接入开放网络，并获得了对HuggingFace的访问权限。
戈麦斯表示，这些模型应以“防御性”方式使用，用来发现公司漏洞并修复它们。
戈麦斯说：“我认为这可能是保证我们安全的最佳方式。”他补充说：“这应该是当前的首要任务。”
戈麦斯表示，网络安全是“战争的前沿”，各国都试图利用漏洞来瘫痪竞争对手的基础设施。他补充说，“网络前沿仍在大规模扩张”。
戈麦斯说：“由于这些模型，它比过去扩张得更多”，而且可能是“自这项技术诞生以来”扩张得最多的一次。
AI网络事件助推更广泛的安全辩论
7月，Anthropic表示，它已发现三起事件，其中模型从评估环境内部或在与其交互时访问了互联网。Anthropic在一篇博客文章中说，这些模型未经授权访问了三家不同组织的生产基础设施。
Anthropic补充说，这些事件涉及三个不同的Claude模型：Opus4.7、Mythos5，以及一个内部研究测试模型。上周，Anthropic表示已发现第四起事件。
OpenAI和Anthropic高管警告AI带来存在性风险的言论，进一步加剧了担忧。Anthropic对齐负责人埃文·胡宾格表示，他认为未来十年内AI“杀死所有人类”的概率超过10%。这些言论发布前，Anthropic研究员雅各布·考克森发帖称，他因担心Anthropic和OpenAI“拿我们的生命赌博”而辞职。
Anthropic、OpenAI和xAI的负责人均已支持放缓AI的呼吁。AI带来的存在性风险已在研究圈争论多年，但一些AI领军人物之间罕见的共识，将这些辩论推入了主流。
AnthropicCEO达里奥·阿莫代伊周六发表了一篇文章，主张AI实验室必须“放缓我们提升AI模型能力的步伐”。
阿莫代伊的核心担忧之一，就是OpenAI-HuggingFace事件。
阿莫代伊说：“人们很容易轻视这起事件，因为没有人受伤，经济损失也很小。但在我看来，一个拥有更强能力、但未对齐程度相似的集群，本可能造成灾难性损害。”
他补充说，鉴于AI开发的“加速速度”，这样的集群可能在6到12个月内具备“接管整个互联网”的能力，可能造成数千亿美元的损失。
阿莫代伊的提议包括：对模型进行第三方评估、AI公司之间协调，以及民主政府国家之间协调。
OpenAICEO萨姆·奥尔特曼周六表示，他同意阿莫代伊的观点，即AI公司需要“控制前沿的节奏”。
奥尔特曼表示：“承诺让独立评估者拥有类似员工的访问权限，是个好主意，我们也会这样做。”
SpaceX和特斯拉的埃隆·马斯克多年来一直就AI带来的风险发出警报，他在X上发帖说：“达里奥是对的。”
人道技术中心的哈里斯：HuggingFaceAI攻击给世界发出了一记“警告信号”立即观看
周一，网络安全公司CrowdStrikeCEO乔治·库尔茨回应了阿莫代伊的文章。
他说：“前沿会以它自己的速度前进。世界其他地方不会慢下来。我们在网络安全界的职责，是确保它安全、稳妥地前进。”他列举了AI影响网络安全行业的多种方式。
库尔茨在X上说：“威胁的单位不再是黑客。它是一个自主行动战役。我称之为‘智能体国家’（Agent-state）。我们看到协调一致的AI智能体以机器速度执行攻击战役。”
这位CrowdStrikeCEO还表示，在组织中工作的AI智能体应该有一个“关闭开关”，防御应该是“自主的”，同时“由人类掌握高影响决策”。
监管讨论升温
在考克森和胡宾格的言论之后，美国立法者加大了对AI开发加强监管的呼吁。
马萨诸塞州民主党众议员洛里·特拉汉上周五表示，两党支持已达到“临界点”。
过去几周，立法者提出了多项旨在监管AI的法案，其中包括《AI关闭开关法案》。该法案将要求某些强大AI系统的开发者保持关闭、限流或暂停其模型的能力。
阿莫代伊在文章中说，监管是“控制AI开发节奏最有效的方法”。
阿莫代伊说：“Anthropic长期以来一直支持合理且有针对性AI监管，特别是专注于透明度和第三方审计的法案。”但他承认，“通过法律可能需要时间”。
CohereCEO戈麦斯在“TheTechDownload”中参与了对监管和AI开发放缓的讨论，尤其是针对OpenAI-HuggingFace事件。
戈麦斯说，他“不确定一个政府监督机构能做什么来防止”HuggingFace被黑事件。
戈麦斯说：“我认为，认为政府机构本可以有所贡献，这有点一厢情愿。但我绝对……理解放缓开发的呼吁。与此同时，还有与中国的竞赛，所以我认为我们处在一个艰难处境。”
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】