OpenAI 翁荔提出大模型「外在幻觉」：万字 blog 详解抵抗办法、产幻原因和检测方式

图片地址：https://img.ithome.com/newsuploadfiles/2024/7/fbba6a82-526d-4c82-bc52-7ac3e78f49ba.png

大模型幻觉还分内在、外在了 ——OpenAI 科学家翁荔最新 Blog，提出 LLM 外在幻觉（extrinsic hallucination）。有别于代指模型生成与现实不符、虚构、不一致或者毫无意义的内容，翁荔将 LLM“幻觉”问题具体化为模型输出内容是虚构的，并且不基于所提供的上下文或世界知识。由此，幻觉有两种类型：上下文内幻觉：模型输出应该与上下文中的源内容一致（出现上下文内幻觉时，输出与源内容不一致）。外在幻觉：模型输出应该基于预训练数据集。然而，考虑到预训练数据集的规模，检索并识别每次生成的冲突成本过高。如果将预训练数据集看作是世界知识的象征，那么本质上是试图确保模型输出是事实性的并可以通过外部世界知识进行验证。同样重要的是，当模型不了解某个事实时，它应该明确表示不知道。之前，翁荔还提出过 Agent 公式：Agent = 大模型 + 记忆 + 主动规划 + 工具使用，被一些网友称为是“看到的有关 Agent 的最好的