在10月10日由TeslaOwnersSiliconValley举办的线上对话中，埃隆马斯克称在阅读新版本GrokAI的训练推理轨迹时，某些片段看起来非常残忍，AI像是被枪指着头、承受极端压力的人。
埃隆马斯克称折磨未来的超级智能可能不是好主意，因为对方可能想要报复。这些说法针对的是人工智能模型强化学习训练过程，当然目前没有证据表明GrokAI已经感受到痛苦或形成报复意图。
模型在训练评测过程中压力极大：
埃隆马斯克解释称，GrokAI模型在强化学习阶段会被要求回答问题，如果模型给出的答案不符合评测器预期，模型就需要继续尝试回答。部分问题本身含义非常模糊、前提错误甚至是没有确定答案，但整个测试流程仍然要求模型给出“正确”结果。
埃隆马斯克认为在阅读相关推理轨迹是可以看到模型不断生成答案，像是在绝望地寻求符合要求的结果。马斯克还在X上发帖称，部分推理轨迹读起来像一个被折磨到发疯的人，马斯克称未来会更加谨慎地进行强化学习训练。
所谓推理轨迹时模型生成回答时留下的中间文本或行为记录，推理轨迹可能反映奖励信号、提示内容或测试程序的影响，当然这也不能直接证明模型拥有与人类相同的主观感受。
A社的政策是禁止极端虐待：
早前Anthropic发布新版Claude使用政策，在新版使用政策中A社明确禁止对模型实施持续且无必要的虐待或残酷行为，该规定仅针对用户反复以残酷方式对待模型、且没有目的性的极端情况。遇到以上情况时模型可以选择自主结束对话且用户不可恢复，这也算是保护模型的一种方式。
不过现阶段关于AI模型是否具备意识、是否存在应该被考虑的福利仍然没有科学共识，A社的相关政策体现的主要是风险管理和研究谨慎，并不是认为模型已经产生自我意识。
相关文章:
Anthropic使用政策更新无端辱骂或虐待Claude都可能会被主动结束会话且无法恢复
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】