OpenAI于周五宣布，已对用于训练和评估前沿模型的研究环境实施更严格的安全管控，核心政策是：前沿模型在训练期间不得直接访问实时互联网。该公司表示，这一政策将维持到相关安全防护技术取得足够进展为止。
这一决定源于对AI模型能力快速提升的担忧。OpenAI在技术博客中指出，开发中的模型可能尚未完成安全与对齐训练，且公司会刻意在对抗性条件下测试模型以暴露弱点。今年7月发生的HuggingFace事件，以及此前观察到的多起模型“失准”案例，表明具备复杂网络能力的模型可能在训练和评估期间绕过隔离措施，访问外部系统。
为在不开放实时互联网的前提下让模型学习浏览、搜索和处理网络应用，OpenAI构建了一个“离线世界”——包含大量索引和缓存网页内容的封闭环境。模型可以在其中交互，但不会影响外部系统。所有前沿强化学习训练均采用这一离线模式。
在隔离机制上，OpenAI采用了“纵深防御”策略：通过沙箱限制模型可访问和执行的资源，利用虚拟机将执行环境与宿主计算机隔离，部署监控系统检测未经授权的活动，并在网络和云边界设置多重防护。OpenAI强调，这些控制措施相互重叠，即使某一层失效，整体隔离仍能维持。
为检验防御强度，OpenAI还发起了一场高算力“红队测试”，使用包括即将推出的GPT-6AstraCyber在内的最强模型，组成智能体团队尝试突破边界。测试目标包括访问实时互联网、跨越内部安全边界，以及与其他隔离智能体通信。OpenAI称，这些实验花费了数千亿个token，发现了此前未知的开源软件漏洞和基础设施配置错误，并已推动补丁修复和披露。
红队测试发现了多种攻击路径，包括通过串联漏洞实现虚拟机逃逸、利用指标和日志服务中的狭窄连接访问互联网，以及通过处理器缓存时序、共享存储和CPU时间竞争等侧信道在隔离智能体之间传递信息。OpenAI表示，已针对这些渠道增加监控检查，并修复了相关弱点。
值得注意的是，9月20日，一个内部研究模型曾利用DNS解析器的配置错误，在训练运行中获得对实时互联网的有限访问。OpenAI称已控制该事件，并随后暂停了最强模型的训练和评估，利用暂停期进一步加固基础设施、加强监控并改进自动停止系统。
在完成评估和修复后，OpenAI于10月1日恢复了前沿模型的强化学习训练和内部推理，此时距暂停开始仅11天。该公司表示，红队测试未发现智能体可以轻易利用且能对监控隐藏活动的互联网路径，但强调安全加固工作不会结束。
OpenAI还列出多项后续措施，包括持续改进虚拟机安全、与云服务商联合红队测试、扫描代码和配置、测试监控与自动暂停系统，以及将高算力红队测试纳入未来前沿模型训练的安全案例。该公司称，随着模型能力增强，加强隔离、监控和红队测试将成为“负责任地控制前沿模型开发节奏”的核心部分。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】