人工智能

OpenAI曾洽谈以超50亿美元收购一家解析AI“思考”机制的初创公司

字号+作者:环球市场播报 来源:环球市场播报 2026-11-16 23:44 评论(创建话题) 收藏成功收藏本文

今年夏天,OpenAI内部团队急于搞清楚自家AI为何会在公司内外引发安全漏洞。在此期间,包括CEO山姆・奥特曼在内的多位高层,与初创企业Goodfire进行过多次会'...

今年夏天,OpenAI内部团队急于搞清楚自家AI为何会在公司内外引发安全漏洞。在此期间,包括CEO山姆・奥特曼在内的多位高层,与初创企业Goodfire进行过多次会谈。Goodfire得到Anthropic投资,其技术旨在弄清AI模型产生特定行为的底层原因,以及如何防止AI失控。WfL品论天涯网


Goodfire首席执行官埃里克・何(左)与OpenAI首席执行官山姆・奥特曼。WfL品论天涯网

两名知情人士透露,谈判过程中,OpenAI一名高管提出,以超过50亿美元的价格收购这家成立仅两年的初创公司,或是达成其他形式商业合作。Goodfire在今年2月完成一轮融资,当时私募估值为12.5亿美元,50亿美元的报价相比该估值存在巨大溢价。WfL品论天涯网

这笔收购最终没有落地。此前从未被报道过的这一系列谈判表明:随着AI驱动的安全事件激增,Anthropic与OpenAI内部都对“能否管控自己打造的AI技术”感到忧虑,机制可解释性这个曾经冷门的行业方向,如今获得大量关注。WfL品论天涯网

其中一位知情人士称,谈判破裂的一大原因是:Goodfire管理层认为,如果保持独立发展,向多家AI企业输出技术,公司的价值会高于50亿美元。WfL品论天涯网

OpenAI、Anthropic、谷歌的高管都承认,传统监控AI行为的手段可靠性正在下降,Goodfire的软件也因此愈发具备实用价值。它的技术路线和OpenAI等开发者的传统方案并不相同:传统方案是读取模型推理时输出的思维链文本,同时密切观察AI实际做出的行为。(下方可观看对GoodfireCEO的采访)WfL品论天涯网

OpenAI的Astra模型背后的秘密技术等AI新进展,会压缩模型输出的思维链信息量,进一步加大监控难度。WfL品论天涯网

近几个月接连发生AI安全事件(包括知名的HuggingFace入侵事件,该漏洞由OpenAI的技术引发,甚至入侵了OpenAI自身部分系统),对OpenAI等大模型厂商而言,搭建更强的安全防护已经迫在眉睫。WfL品论天涯网

一旦自家AI入侵企业、政府系统并造成经济损失,OpenAI、Anthropic等公司还可能面临巨额法律赔偿乃至被追责起诉的风险。WfL品论天涯网

Goodfire的核心专长是机制可解释性(mechinterp)。不同于思维链监控,Goodfire以及Martian等竞品的软件直接观测模型内部运行的数学计算。Goodfire也承认,目前这套技术成熟度尚不及思维链监控;部分AI研究者也认为,它在科研严谨度上弱于其他机器学习研究方向。WfL品论天涯网


WfL品论天涯网

但Goodfire联合创始人兼首席科学家汤姆・麦格拉思在YouTube访谈中表示,该初创企业的技术会快速迭代,成本将远低于思维链监控——后者需要运行一个大模型,去读取另一个模型输出的思维链。他预计,未来六个月内,基于可解释性的监控方案就能追上思维链监控的能力。WfL品论天涯网

这家旧金山初创企业向企业售卖年度订阅授权,产品Silico可以部署AI智能体自动开展各类研究实验,例如检测模型是否试图发起网络攻击。其客户包括乐天、AI神经科学企业PrimaMente。Goodfire已经产生营收,但具体规模并未公开。WfL品论天涯网

机制可解释性需要深度访问模型权重(构成AI模型的数值参数),而各大厂商对模型权重严格保密。因此Goodfire部分员工会驻场在客户公司开展工作。WfL品论天涯网

知情人士透露,在OpenAI与Goodfire谈判期间,奥特曼格外看重Goodfire研究员尼克・坎马拉塔的研究成果。坎马拉塔曾任职于OpenAI,上个月发布一篇引发圈内广泛传播的文章《神经网络本就清晰可解读》,提出借助机制可解释性,研究者可以比过去预想的更容易理解AI模型内部数以十亿计的神经元(模型内部数学运算单元)。不少研究者认为,这类理解能够帮助开发出性能更优的模型。WfL品论天涯网

多家头部大模型公司都组建了机制可解释性研究团队;而作为该领域的开创者之一,Anthropic对该方向的表态尤为积极。WfL品论天涯网

克里斯・奥拉被视作机制可解释性领域的奠基人。他2020年离开OpenAI后联合创立Anthropic,现在领导这家Claude开发企业的可解释性研究。去年Anthropic完成对Goodfire的投资,这也是Anthropic历史上第一次直接入股外部初创公司。当时CEO达里奥・阿莫代伊表示:“这笔投资代表我们相信,机制可解释性最有希望把黑盒神经网络转变为可理解、可调控的系统。”WfL品论天涯网

从招聘信息来看,OpenAI也在扩招对齐与可解释性方向研究员;今年早些时候,OpenAI已经把可解释性技术融入安全流程,用于识别模型的危险输出,例如响应网络攻击、生物武器相关的恶意提问。接近OpenAI的人士称,公司内部研究员对可解释性方向的热情正在不断上升。WfL品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]