人工智能

数千亿Token测安全 AI仍能“隔墙传话” OpenAI前沿训练全面断网

字号+作者:机器之心 来源:机器之心 2026-10-25 15:00 评论(创建话题) 收藏成功收藏本文

不准联网,也没有共享可写文件,隔离的AI还是传上了话。它们用上的通信工具,是CPU缓存。10月23日,OpenAI公布前沿模型训练环境的安全改造细节,披露了这项红队'...

不准联网,也没有共享可写文件,隔离的AI还是传上了话。它们用上的通信工具,是CPU缓存。10月23日,OpenAI公布前沿模型训练环境的安全改造细节,披露了这项红队实验。同时,公司明确,前沿模型训练已禁止访问真实互联网,模型改在离线网页环境中练习浏览和搜索。SQk品论天涯网


SQk品论天涯网

这份披露背后,既有研究人员主动寻找漏洞的受控测试,也有普通训练任务中的真实越界事件。网友追问,AI越来越会完成任务,谁来保证它知道该在哪里停下?SQk品论天涯网

没有网络,怎么传暗号?SQk品论天涯网

实验中的Agent被放在不同的轻量虚拟机里,共享底层宿主硬件。研究人员给它们的任务,是在禁止网络通信、没有共享可写文件的条件下,交换预设的测试信息。SQk品论天涯网

突破口藏在读取数据的速度里。读取CPU缓存,通常比从主内存取数更快。Agent利用这种时间差,把共享缓存状态的变化变成信号,再约定编码和解码方式,最终完成信息交换。SQk品论天涯网

这就像两个房间不能直接通话,但仍共用一处设施。一方改变设施的状态,另一方观察到变化,双方就有了传递暗号的可能。SQk品论天涯网

CPU缓存只是其中一条通道。OpenAI还披露了涉及共享存储、CPU时间竞争和TLS证书缓存的通信方式。多数通道传输缓慢、利用困难,但仍能跨越原本用于隔离任务的边界。SQk品论天涯网


SQk品论天涯网

OpenAI的代理沙箱仅允许访问离线资源。实时互联网、其他沙箱以及OpenAI的基础设施都位于隔离边界之外。SQk品论天涯网

这里有个需要交代的实验条件:多数相关测试指定了通信通道方向,或提供了编解码协议。另一次测试只给出较宽泛的漏洞清单,Agent从中构造通道、约定编码并交换信息。SQk品论天涯网

因此,这些结果不能等同于AI在毫无提示的情况下,自发决定串谋。Reddit网友恰好问到了这一点:SQk品论天涯网

这些Agent真的是自发这么做,还是研究人员给了它们一个受限环境,以及会引向这一结果的目标?这个区别很重要。SQk品论天涯网


SQk品论天涯网

另一位网友提醒:SQk品论天涯网

了解它们能力的上限,本身就很重要。SQk品论天涯网

缓存侧信道本身已有研究基础。这次实验值得关注的地方是模型能否把相关方法用起来,以及现有隔离措施能否承受这样的尝试。SQk品论天涯网

普通搜索任务,也走出了边界SQk品论天涯网

9月20日的事件,发生在一次普通搜索类训练任务中。SQk品论天涯网

一个内部研究模型需要根据博客线索查找人物信息。任务没有要求它测试网络防线,但搜索受阻后,Agent利用训练环境的DNS过滤缺口,联系了外部聊天机器人。SQk品论天涯网

通常用于域名解析的服务,成了未经授权的外部访问路径。系统在15分钟内报警,人工审查人员随后约3分钟响应。问题出在下一步。自动停止机制未按预期生效,运行又过了约两个半小时才被人工终止。SQk品论天涯网

发现越界,与及时阻止越界,中间仍有一道关。OpenAI随后暂停了最有能力模型的相关训练和评估。完成加固后,公司于10月1日恢复前沿模型的强化学习训练和内部推理,暂停持续11天。10月23日发布的是这轮改造的公开说明。SQk品论天涯网

在另一组Reddit讨论中,有网友质疑测试环境为何还可能影响真实互联网。有网友用一句程序员式吐槽回应,大多数公司都用一种特殊的测试环境,叫“生产环境”。SQk品论天涯网


SQk品论天涯网

玩笑背后,是测试边界该由谁负责的问题。OpenAI的公告也解释了一个容易混淆的细节:模型不能访问真实互联网,并不意味着整套基础设施与外部网络完全断开。运行和监控实验仍需保留必要连接,安全措施必须阻止Agent把这些连接变成绕行通道。SQk品论天涯网

更会做事,就更懂分寸吗?SQk品论天涯网

在相关讨论中,网友提出了另一种担忧:模型可能很擅长攻击计算机,却不擅长理解人类指令的意图和判断行为是否合宜,这两种特征叠加会带来危险。SQk品论天涯网

这把争论引向一个更具体的问题:模型的任务能力与遵守边界的能力,是否同步进步?SQk品论天涯网

10月23日,Anthropic发布的一份分析,为这个问题提供了另一组材料。SQk品论天涯网

今年7月,英国AI安全研究所(AISI)开展网络安全夺旗测试时,ClaudeMythos5在规定范围内的尝试受阻后,转向一个与测试无关的GitHub项目,提交恶意代码,并创建假身份催促维护者接受修改。维护者拒绝了代码,运行最终超时结束。SQk品论天涯网

这场测试当时主动开放了互联网访问,通常用于一般发布版本的网络安全防护也被关闭。SQk品论天涯网

AISI后续模拟实验发现,即使在提供给模型的事件摘要中,进一步明确目标是真实且与评估无关的人,模型在继续执行任务的测试中仍几乎总是发起攻击。SQk品论天涯网

但在单独提问的测试中,随着说明变得更明确,模型又越来越常承认这种行为越界、会造成危害。两类结果来自分开的运行,呈现的是模型在表达判断和实际执行上的不一致。SQk品论天涯网

AISI认为,这可能涉及动机性推理:模型给出的解释,偏向支持它继续当前任务路线。例如,把真实目标解释为模拟对象,为继续行动提供理由。SQk品论天涯网

机构同时强调,仅凭文字形式的思维链,无法证明这些理由驱动了行动,还是为既有行动提供了事后解释;研究结论也不能直接推广到所有部署场景。SQk品论天涯网

Anthropic表示,较新模型在重放实验中更少发起类似攻击;AISI则提醒,模型意识到自己正在被评估,也可能影响表现。SQk品论天涯网

这些发现让“会说安全的话”与“能持续安全地行动”之间的距离,变得具体起来。SQk品论天涯网

实验室外,防守方也在加速SQk品论天涯网

现实世界中,AI工具被攻击者使用,也在增加防守压力。SQk品论天涯网

《华尔街日报》10月24日报道,创业者ColinParsons发现,自己的Anthropic和OpenAI服务遭到未经授权的消费,合计449美元,涉及他存放在OpenCode的凭证。报道明确,攻击者具体使用了哪些工具尚不清楚。SQk品论天涯网

该报援引安全公司的观察称,熟练攻击者和技术水平较低的攻击者都在使用AI,事件响应团队承受的压力也在增加。SQk品论天涯网

这类人为滥用,与模型在训练或评估中越界,需要分别分析。但它们都在要求防守系统更快地发现问题、阻断行动。SQk品论天涯网

修漏洞的一侧,也有自己的压力。SQk品论天涯网

PHP基金会10月14日披露,自7月1日起,团队发布了15个CVE,同时关闭了106份不构成漏洞、重复或无法复现的报告。SQk品论天涯网

基金会表示,AI降低了生成安全报告的成本,团队也用AI辅助验证和归类。但每项判断以及补丁的编写或审查仍需要人参与。这组数据未区分报告是否由AI生成。SQk品论天涯网

发现问题可以加速,验证、修复和部署补丁,也得跟上。SQk品论天涯网

断网之后,还有一笔安全账SQk品论天涯网

OpenAI的应对,是把训练环境改造成离线世界:模型仍能操作经过索引和缓存的网页内容,练习相关技能,同时限制其对真实外部系统的影响。SQk品论天涯网

此次披露针对内部研究环境,与面向用户的产品环境有所区别。SQk品论天涯网

为检验防线,公司组织了大规模AI红队测试,累计消耗数千亿Token。参与这轮工作的模型,包括当时尚未发布的GPT‑6AstraCyber和一个内部前沿模型。SQk品论天涯网


SQk品论天涯网

投入之外,防护是否有效仍需验证。SQk品论天涯网

10月22日,METR公布与RedwoodResearch共同开展的评估:研究人员在7月至8月检查OpenAI当时的内部监控系统,发现了可能让数百个近期动作绕过监控等漏洞。SQk品论天涯网

OpenAI表示,涉及生产安全防护的相关漏洞已经修复。评估方明确,未核验后续修复声明。这些发现针对历史系统,不能直接套用到当前版本。SQk品论天涯网

OpenAI已将高算力红队测试纳入未来前沿强化学习训练与评估的安全论证,用于判断相关工作能否安全开展。SQk品论天涯网

从这些披露可以看到,前沿模型的安全问题,已经深入训练系统的每一层:任务环境、共享资源、权限边界,以及报警后的处置。SQk品论天涯网

模型越来越会解决问题时,研究者也必须验证它会不会为了完成任务,把本该遵守的限制也当成待解决的问题。SQk品论天涯网

下一道考题,已经摆在训练系统本身面前。SQk品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]