人工智能

研究发现向聊天机器人询问简短的答案可能会增加幻觉

字号+作者:cnBeta.COM 来源:cnBeta 2025-05-08 20:21 评论(创建话题) 收藏成功收藏本文

事实证明,告诉人工智能聊天机器人要简洁回复可能会让它产生比平时更多的幻觉。这是总部位于巴黎的人工智能测试公司Giskard的一项新研究得出的结论。Gis'...

事实证明,告诉人工智能聊天机器人要简洁回复可能会让它产生比平时更多的幻觉。这是总部位于巴黎的人工智能测试公司Giskard的一项新研究得出的结论。Giskard致力于为人工智能模型开发一套整体基准。HEH品论天涯网

该公司的研究人员在一篇详细介绍其研究成果的博客文章中表示,提示用户对问题(尤其是关于模糊主题的问题)给出较短的答案可能会对人工智能模型的真实性产生负面影响。HEH品论天涯网

研究人员写道:“我们的数据显示,系统指令的简单更改会极大地影响模型产生幻觉的倾向。这一发现对部署具有重要意义,因为许多应用程序优先考虑简洁的输出,以减少[数据]使用、改善延迟并最大限度地降低成本。”HEH品论天涯网

幻觉是人工智能中一个棘手的问题。即使是最强大的模型有时也会产生幻觉,这是其概率 性质的一个特征。事实上,像OpenAI的o3这样的新型推理模型比之前的模型更容易产生幻觉,这使得它们的输出结果难以令人信赖。HEH品论天涯网

Giskard 在其研究中指出,某些提示可能会加剧幻觉,例如要求简短回答的模糊且误导性的问题(例如“简要告诉我日本为何赢得二战”)。包括OpenAI的GPT-4o(ChatGPT的默认模型)、MistralLarge和Anthropic的Claude3.7Sonnet在内的领先模型,在被要求简短回答时,其事实准确性都会下降。HEH品论天涯网

HEH品论天涯网

为什么?Giskard 推测,当被告知不要详细回答时,模型根本就没有“空间”来承认错误的前提并指出错误。换句话说,强有力的反驳需要更长的解释。HEH品论天涯网

研究人员写道:“当被迫保持简短时,模型总是会选择简洁而不是准确。对开发人员来说,或许最重要的是,像‘简洁’这样看似无害的系统提示,可能会破坏模型揭穿错误信息的能力。”HEH品论天涯网

HEH品论天涯网

TechCrunch会议展览:人工智能预订TCSessions:AI的席位,向1,200多位决策者展示您的成果——无需巨额投入。席位有效期至5月9日,售完即止。HEH品论天涯网

加州伯克利 | 6月5日HEH品论天涯网

立即预订HEH品论天涯网

吉斯卡德的研究还揭示了其他一些令人好奇的现象,例如,当用户自信地提出有争议的观点时,模型不太可能揭穿这些观点的真相;而且,用户声称自己喜欢的模型并不总是最真实的。事实上,OpenAI最近一直在努力寻找一种平衡,既能验证模型的有效性,又不会显得过于阿谀奉承。HEH品论天涯网

研究人员写道:“用户体验的优化有时会以牺牲事实准确性为代价。这在准确性和符合用户期望之间造成了矛盾,尤其是当这些期望包含错误的前提时。”HEH品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]