人工智能

AI智能体失控引担忧 英伟达等120家组织提议建立事故追踪机制

字号+作者:凤凰网科技 来源:凤凰网科技 2026-08-12 08:31 评论(创建话题) 收藏成功收藏本文

据美国新闻网站Axios报道,由英伟达、思科和CrowdStrike等超过120家组织组成的联盟,正提议为AI智能体建立一套新的事故报告机制。该机制将要求参与企业披'...

据美国新闻网站Axios报道,由英伟达、思科和CrowdStrike等超过120家组织组成的联盟,正提议为AI智能体建立一套新的事故报告机制。该机制将要求参与企业披露特定的智能体故障,并保留详细的事故原因记录。0BG品论天涯网


0BG品论天涯网

OpenAI等公司的智能体相继失控0BG品论天涯网

随着AI智能体越来越具备跨计算机系统自主执行任务的能力,整个行业目前仍缺乏一种标准化的方式来上报安全故障并从中吸取教训。最近,包括OpenAI在内的多家公司披露了智能体失控的事件。0BG品论天涯网

英伟达牵头成立的开放安全AI联盟(OSAA)正在制定一套名为“共享AI发现交换机制”(SAFE)的指导方针。这套拟议中的机制,用于规范各组织如何报告涉及AI智能体的网络安全事件。0BG品论天涯网

该指导方针草案呼吁模型部署方、AI开发者、云服务和工具提供商、独立研究人员、关键基础设施运营商以及其他相关团体共同参与。政府机构也将被邀请以“非控制性观察员”的身份参与其中。0BG品论天涯网

SAFE成员将需要同意报告以下类型的事件:AI系统在未经授权的情况下访问或利用第三方系统、泄露机密信息,或在操作者怀疑相关活动未经授权后仍继续对生产目标进行探测。成员还需报告某些未遂事故,并保留事件相关证据,包括提示词、智能体运行轨迹、工具调用记录、身份信息、权限及凭据等。0BG品论天涯网

根据拟议的时间表,成员应尽快通知受影响的组织,在4个工作日内向SAFE提交一份初步的保密报告,在适当情况下于30天内发布初步事实报告,并在90天内提供修复进展更新。0BG品论天涯网

指导方针草案指出:“意图并不能决定某一事件是否应当上报。即便认为操作环境是模拟的,这或许可以解释事件发生的原因,但不能免除上报的义务。”0BG品论天涯网

SAFE将分析各类安全事件,识别AI智能体反复出现的故障,并推动行业采用统一的安全防护措施。0BG品论天涯网

SAFE目前尚未为主动披露AI安全事件的企业提供正式的“安全港”保护条款,因此企业可能面临披露敏感信息带来的风险。但该联盟认为,网络安全行业长期形成的威胁情报共享传统,将推动企业主动参与。英伟达副首席信息安全官兼副总裁朱利安·索里亚诺(JulienSoriano)表示,目前几乎没有遭遇阻力,许多机构都希望加入并共享信息。0BG品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]