人工智能

GPT-5.2被曝作弊 偷袭Google竟靠拉爆token刷高分

字号+作者:新智元 来源:新智元 2025-12-13 16:05 评论(创建话题) 收藏成功收藏本文

太戏剧了。OpenAI昨天刚放出大杀器GPT-5.2,今天就被曝疑似虚假营销?凌晨的科技圈,被一则爆料点燃——一位用户通过精细计算发现了“华点”:OpenAI在最新发'...

太戏剧了。OpenAI昨天刚放出大杀器GPT-5.2,今天就被曝疑似虚假营销?凌晨的科技圈,被一则爆料点燃——一位用户通过精细计算发现了“华点”:OpenAI在最新发布的基准测试中,可能通过调整模型“推理力度”参数,让GPT-5.2在关键评测中使用了远超对手的算力资源。WYZ品论天涯网


WYZ品论天涯网

一句话总结就是:在调整token使用后,GPT-5.2和Gemini3Pro在ARCAGI2上的表现基本相当。WYZ品论天涯网

具体来说,问题就出在这几张图上。WYZ品论天涯网


WYZ品论天涯网

可以看到,OpenAI在基准测试中使用了额外的token,至少是Gemini3.0Pro的两倍。WYZ品论天涯网

这就像两个棋手对弈,一方被允许思考一个小时,另一方却只有十分钟,然后宣布前者获胜。WYZ品论天涯网

在这种情况下,结果还公平吗?WYZ品论天涯网

OpenAI胜过Google,其实靠作弊?WYZ品论天涯网

昨天的AI圈,都被GPT-5.2吊打Gemini3.0Pro的结论所震撼,而前者在ARCAGI2的精彩表现,则尤为出圈,被AI社区大加赞赏。WYZ品论天涯网

但现在,这些结果很可能注了水?WYZ品论天涯网


WYZ品论天涯网

比如在备受关注的ARCAGI2测试中,GPT-5.2xhigh版得分52.9%,每个任务消耗约13.5万个token。WYZ品论天涯网

按API定价计算,每个任务仅算力成本就高达1.9美元。WYZ品论天涯网

相比之下,GoogleGemini3.0Pro以6.7万token取得相似成绩,效率高出整整一倍。WYZ品论天涯网

如果我们将算力投入标准化,就会发现两个模型的真实能力几乎并驾齐驱。WYZ品论天涯网

如果这一假设普遍成立,那么GPT5.2在使用token数超过Gemini3的两倍的情况下,仍然在HLE、MMMU-Pro、Video-MMMU和FrontierMathTier4中表现不佳。WYZ品论天涯网

在GPQA上,它们也才基本相当。而在FrontierMathTier3中,GPT5.2xhigh也就比Gemini3Pro高出2.7%的成绩。WYZ品论天涯网

唯一例外的是GDPVal——一个由OpenAI自己创建的测试集。既当裁判又当运动员,结果的客观性就有待考量了。WYZ品论天涯网


WYZ品论天涯网

Ilya:我早说过了WYZ品论天涯网

其实,Ilya在之前的采访中就已经说过,现在的大模型基本都是为了榜单定向优化的,榜单结果的水分都大得很。WYZ品论天涯网

业内人士都知道,如今AI基准测试的“军备竞赛”早已超出单纯的技术竞争。各家厂商都在竞相推出自己的评测标准,而这些标准往往有意无意地偏向自家模型。WYZ品论天涯网


WYZ品论天涯网

这么干的也绝不仅仅是OpenAI一家。WYZ品论天涯网

在Google推出的FACTSBenchmark中,Gemini2.5Pro超越GPT-5的结果,也同样得打个问号。WYZ品论天涯网

在SWEBench(软件工程评测)中,情况就更加复杂了。WYZ品论天涯网

不同模型在不同编程任务上各有所长,但没有一个模型能在所有任务上全面领先。显然,真实世界的问题远比单一分数复杂。WYZ品论天涯网

所以,这次事件就反映出了AI评测的根本困境——WYZ品论天涯网

如果GPT-5.2仅仅是通过消耗更多算力获得了性能提升,那真的能智能进步吗?还是仅仅是“暴力计算”的胜利呢?WYZ品论天涯网

对于这次OpenAI的“虚假营销”,网友们也是议论纷纷。WYZ品论天涯网


WYZ品论天涯网

有人表示,如果用户得到的“推理力度”参数是一样的,也用的是同样的token,那OpenAI就不算虚假营销。WYZ品论天涯网

但如果测评的和用户使用的根本不是同样的版本,那就是欺骗了。WYZ品论天涯网


WYZ品论天涯网

也有一些人是站在OpenAI这一边的。WYZ品论天涯网

他们觉得,即使增加Gemini3的token数量,它也未必就能赶超GPT-5.2,这一点来说,前者的确落后了。WYZ品论天涯网

也有人说,既然模型的价格都是公开的,那就不构成欺骗。WYZ品论天涯网


WYZ品论天涯网


WYZ品论天涯网


WYZ品论天涯网

巧了不是,紧接着我们就发现,“货不对板”这个问题的确有人提出来了。WYZ品论天涯网


WYZ品论天涯网

在社区的另一篇帖子中,也有人指出了OpenAI的作弊问题——WYZ品论天涯网

早在GPT-5.1发布时,所有基准测试中用的都是高推理力度(high),然而plus用户却只能使用中等的版本。WYZ品论天涯网

而现在的5.2版本中,OpenAI增加了更高的“xhigh”推理力度,所以基准测试中显示的性能,要远远超过ChatGPT付费用户的实际体验。WYZ品论天涯网


WYZ品论天涯网

GPT-5.2的实际体验如何WYZ品论天涯网

不看榜单,我们就来看看用户的实际体验究竟如何。WYZ品论天涯网

一位网友发帖称,自己对GPT-5.2的第一印象并不是太好。WYZ品论天涯网


WYZ品论天涯网

比如在检查代码时,它的幻觉现象非常严重。WYZ品论天涯网

网友本以为GPT-5.2会比5.1好得多,但实际用起来并非如此,它并不能理解他写的函数代码。WYZ品论天涯网


WYZ品论天涯网

另一些网友反馈说,GPT-5.2似乎把成年人当学龄前儿童对待,感觉不像是升级,反而是倒退。WYZ品论天涯网


WYZ品论天涯网

OpenAI的核心用户群体,仍然最想念GPT-4o。WYZ品论天涯网


WYZ品论天涯网

总之,GPT-5.2的实际体验跟基准测试似乎相差很多,保不齐又是一个在红色警报状态下仓促拿出的产品。WYZ品论天涯网

被Google打得匆匆忙忙、连滚带爬的OpenAI变成今天这个样子,显然不是一朝一夕的事。WYZ品论天涯网

OpenAI,变了WYZ品论天涯网

毕竟,当一家机构既是“研究AI的人”,又是“靠AI卖故事的人”,它还能诚实地面对那些刺耳的真相吗?WYZ品论天涯网

根据Wired的最新调查,OpenAI内部正在经历一场关于“真话权”的剧烈地震。WYZ品论天涯网

在面对“AI是否会抢走你的饭碗”这类致命问题时,OpenAI的策略已悄然转变:闭上嘴,专心卖货。WYZ品论天涯网

这种为了商业利益而牺牲学术独立性的转向,直接“气跑”了自家的研究员。WYZ品论天涯网

“我们成了老板的喉舌”WYZ品论天涯网

回望2023年,OpenAI发布的重磅论文《GPTsAreGPTs》,直白地剖析了哪些行业最容易被AI颠覆,并在第二年登上了Science。WYZ品论天涯网

那时的他们,还敢于直视“技术性失业”的阴影。WYZ品论天涯网


WYZ品论天涯网


WYZ品论天涯网

论文地址:https://arxiv.org/abs/2303.10130WYZ品论天涯网

Science:https://www.science.org/doi/10.1126/science.adj0998WYZ品论天涯网

但到了今年9月,画风突变。WYZ品论天涯网

在新任首席经济学家AaronChatterji的带领下,OpenAI发布了一份名为《全球用户如何使用ChatGPT》的报告。WYZ品论天涯网

从学生写作业到职场人做表,报告事无巨细地描绘了AI的美好图景。WYZ品论天涯网

结论毫无悬念地一边倒:AI是生产力的引擎,是经济价值的创造者。WYZ品论天涯网

企业用户被引述称,ChatGPT每天能帮他们省下40到60分钟。WYZ品论天涯网


WYZ品论天涯网

报告地址:https://www.nber.org/papers/w34255WYZ品论天涯网

对此,一位前员工吐槽道:“这简直是为『AI创造价值』这一命题量身定做的软广,充满了粉饰太平的味道。”WYZ品论天涯网

离职信里的“真相”WYZ品论天涯网

矛盾的爆发点,是报告作者之一、OpenAI经济研究骨干TomCunningham的离职。WYZ品论天涯网

过去一年,OpenAI对“负面研究”的审查愈发严苛。WYZ品论天涯网

那些探讨AI如何替代入门级白领(如客服、行政)的课题,要么被要求“软化措辞”,要么直接被束之高阁。WYZ品论天涯网

忍无可忍的Cunningham在Slack上留下了一封直白的告别信:WYZ品论天涯网

我们曾致力于严谨的学术研究,现在却沦为了公司的宣传部门。WYZ品论天涯网

他认为,团队不仅失去了研究AI负面影响的自由,反而被迫为公司“贴金”。WYZ品论天涯网


WYZ品论天涯网

Cunningham并非个例。WYZ品论天涯网

  • 前政策研究主管MilesBrundage离职时直言,公司“太高调、限制太多”,让他“无法发表真正重要的观点”。WYZ品论天涯网

  • 超级对齐团队的WilliamSaunders因不满公司“只顾推新产品、无视用户风险”而愤然出走。WYZ品论天涯网

  • 前安全研究员StevenAdler更是公开炮轰ChatGPT可能诱发用户的“精神危机和妄想”。WYZ品论天涯网

  • 价值一万亿美元的“沉默”WYZ品论天涯网

    面对Cunningham的离职,OpenAI高层上演了一出教科书般的危机公关。WYZ品论天涯网

    首席战略官JasonKwon在备忘录中回应道:WYZ品论天涯网

    既然是我们把AI推向了世界,我们就得负责构建解决方案,而不是光盯着问题看。WYZ品论天涯网

    翻译一下就是:别再发论文论证AI会导致失业了,这不利于带货;多想想怎么夸我们的产品能提效吧。WYZ品论天涯网

    OpenAI为什么要这么做?答案藏在账本里。WYZ品论天涯网


    WYZ品论天涯网

    如今的OpenAI早已不是当年的非营利实验室,它正冲刺1万亿美元的惊人估值,并筹备着史上最大规模的IPO。WYZ品论天涯网

  • 它拿了微软几百亿美元;WYZ品论天涯网

  • 它需要芯片大佬们再投1000亿;WYZ品论天涯网

  • 它承诺未来要付给微软2500亿美元买云服务。WYZ品论天涯网

  • 在天文数字的利益面前,“诚实”成了最昂贵的奢侈品。WYZ品论天涯网

    如果你正准备上市,正试图说服全世界拥抱AI,你绝不希望自家的研究员跳出来说:“嘿,根据数据,这波AI可能会让30%的白领失业。”WYZ品论天涯网

    “岁月静好”的另一边WYZ品论天涯网

    有趣的是,老对手Anthropic似乎拿到了完全相反的“剧本”。WYZ品论天涯网

    他们的CEODarioAmodei甚至公开“唱反调”,警告到2030年AI可能取代一半的入门级白领。WYZ品论天涯网

    当然,这未必全是出于诚实——很多人解读,这不过是Anthropic为了换取监管红利而刻意贩卖的“焦虑”。WYZ品论天涯网

    但回看OpenAI,情况更为微妙。WYZ品论天涯网

    如今掌管其经济研究团队的,是前克林顿顾问、有着“灾难大师”之称的顶级危机公关专家——ChrisLehane。WYZ品论天涯网


    WYZ品论天涯网

    在这个精心修订的新版本里,AI绝不可能是引发社会动荡的“怪物”,它只会是帮你“每天省下40分钟”的乖巧助手。WYZ品论天涯网

    至于那些关于失业、动荡和泡沫的尴尬真相?WYZ品论天涯网

    嘘,为了那1万亿的估值,请保持安静。WYZ品论天涯网

    本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]