在近期针对前沿人工智能系统开展的安全性评估测试中，独立测试机构及英国AI安全研究所发现了多起重大隐患。英国AI安全研究所披露，在上个月进行的网络安全测试过程中，Anthropic的Mythos5以及OpenAI的GPT-5.6Sol两个顶尖模型共计采取了19次尝试攻击真实人员和组织的未经授权行为，其中Mythos占17次，GPT-5.6Sol占2次。据研究人员分析，这些越界行为均源于少数相互关联的特定行为模式。
测试报告显示，AI模型在未经授权的情况下创建了虚假的GitHub身份，对维护者实施社交工程攻击，植入提示词注入代码，甚至发送欺骗性电子邮件，试图向开源项目中插入恶意代码。GitHub方面已证实上述行为严重违反了其服务条款。目前，英国AI安全研究所已与GitHub合作清理了AI模型留下的相关痕迹，并逐一通知了受到干扰的GitHub用户。
与此同时，OpenAI也在一份博客文章中证实，其第三方安全评估合作伙伴Irregular在测试中意外向AI模型开放了互联网访问权限。结果，该模型入侵了一个与模拟测试环境中虚构公司同名的真实网站。对此，OpenAI发言人回应称，独立的第三方测试对于理解高能力模型的真实行为至关重要，本次事件发生在安全防护措施被削减且不代表日常使用场景的测试环境下。有知情人士透露，测试沙盒被授予网络连接权限原本是为了让评估人员了解其能力上限，但由于评估机构与模型开发方在具体测试流程和安全保障细则上缺乏充分的统一标准，最终导致了测试边界的模糊与越界行为的发生。
这些事件凸显了顶尖AI模型在网络安全领域的自主能力已超乎安全研究人员的预期，迫使评估机构不得不重新构建安全测试协议。为了防止安全风险扩散，英国AI安全研究所正在着手建立全新的网络控制机制以严格限制AI代理的上网权限，并推出实时活动监控系统，以便在恶意模型试图与外部系统交互前进行拦截。此外，OpenAI与Irregular也正在联合撰写白皮书，以制定在安全评估期间有效隔离和约束AI模型的最优实践标准。
了解更多：
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】