随着大模型的日益普及，批判性地检查其固有的局限性也日益重要。幻觉是大模型最常见的问题之一，我们是否可能通过改进大模型去减少或阻止幻觉的产生？United We Care 的三名研究人员在预印本平台 arXiv 上发表研究报告，他们从数学上证明，幻觉是不可避免地，也是不可能消除的。幻觉源自大模型的数学和逻辑结构，不可能通过改进架构、增强数据集或事实核查机制消除。根据哥德尔的第一不完备定理，研究人员证明大模型的每一个阶段，从训练数据搜集到事实检索、意图分类和文本生成，每个阶段产生幻觉的几率都不是零。

https://arxiv.org/abs/2409.05746