OpenAI的研究人员声称，他们已经攻克了影响大语言模型性能的最大障碍之一：“幻觉”(hallucinations)问题。
当大语言模型生成不准确的信息，并将其作为事实呈现时，就会产生“幻觉”。从OpenAI的GPT-5到Anthropic的Claude，许多热门的的大语言模型都受到这一问题的困扰。
OpenAI在周四发布的一篇文章中公布了其核心发现：大语言模型之所以产生幻觉，是因为它们的训练方法更倾向于奖励“猜测”，而不是“承认不确定性”。
换句话说，大语言模型被告知要“不懂装懂，直到蒙对为止”(fake it till they make it)。研究人员在文章中写道：“幻觉”问题之所以持续存在，与大多数评估的评分方式有关——AI模型被优化成优秀的应试者，在不确定时进行猜测能提高考试成绩。大语言模型基本上一直处于“应试模式”，它们回答问题时，仿佛生活中的一切都是二进制的——非对即错，非黑即白。
在许多方面，它们并未准备好应对现实生活，因为在现实中，不确定性比确定性更常见，而真正的准确性也并非必然。
研究人员表示：人类在学校之外，在艰苦的磨练中学会了表达不确定性的价值。而另一方面，大语言模型主要通过那些惩罚“不确定性”的考试来进行评估。
OpenAI发现，幻觉问题有解决办法，而这与重新设计评估指标有关。
OpenAI表示：根本问题在于大量的评估标准未能与现实目标对齐。必须调整众多主要评估方法，以停止在模型不确定时惩罚其“弃权”行为。
目前广泛使用的、基于准确率的评估方法需要更新，使其评分机制不鼓励猜测。如果主记分牌(main scoreboards)继续奖励侥幸的猜测，模型就会继续学习去猜测。
via 匿名
