该公司的研究人员在一篇详细介绍其研究成果的博客文章中表示,提示用户对问题(尤其是关于模糊主题的问题)给出较短的答案可能会对人工智能模型的真实性产生负面影响。
研究人员写道:“我们的数据显示,系统指令的简单更改会极大地影响模型产生幻觉的倾向。这一发现对部署具有重要意义,因为许多应用程序优先考虑简洁的输出,以减少[数据]使用、改善延迟并最大限度地降低成本。”
幻觉是人工智能中一个棘手的问题。即使是最强大的模型有时也会产生幻觉,这是其概率 性质的一个特征。事实上,像OpenAI的o3这样的新型推理模型比之前的模型更容易产生幻觉,这使得它们的输出结果难以令人信赖。
为什么?
研究人员写道:“当被迫保持简短时,模型总是会选择简洁而不是准确。对开发人员来说,或许最重要的是,像‘简洁’这样看似无害的系统提示,可能会破坏模型揭穿错误信息的能力。”
TechCrunch会议展览:人工智能预订TCSessions:AI的席位,向1,200多位决策者展示您的成果——无需巨额投入。席位有效期至5月9日,售完即止。
加州伯克利 | 6月5日
立即预订
吉斯卡德的研究还揭示了其他一些令人好奇的现象,例如,当用户自信地提出有争议的观点时,模型不太可能揭穿这些观点的真相;而且,用户声称自己喜欢的模型并不总是最真实的。事实上,OpenAI最近一直在努力寻找一种平衡,既能验证模型的有效性,又不会显得过于阿谀奉承。
研究人员写道:“用户体验的优化有时会以牺牲事实准确性为代价。这在准确性和符合用户期望之间造成了矛盾,尤其是当这些期望包含错误的前提时。”

相关文章

头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】