大模型幻觉还分内在、外在了 ——OpenAI 科学家翁荔最新 Blog,提出 LLM 外在幻觉(extrinsic hallucination)。有别于代指模型生成与现实不符、虚构、不一致或者毫无意义的内容,翁荔将 LLM“幻觉”问题具体化为模型输出内容是虚构的,并且不基于所提供的上下文或世界知识。由此,幻觉有两种类型:上下文内幻觉:模型输出应该与上下文中的源内容一致(出现上下文内幻觉时,输出与源内容不一致)。外在幻觉:模型输出应该基于预训练数据集。然而,考虑到预训练数据集的规模,检索并识别每次生成的冲突成本过高。如果将预训练数据集看作是世界知识的象征,那么本质上是试图确保模型输出是事实性的并可以通过外部世界知识进行验证。同样重要的是,当模型不了解某个事实时,它应该明确表示不知道。之前,翁荔还提出过 Agent 公式:Agent = 大模型 + 记忆 + 主动规划 + 工具使用,被一些网友称为是“看到的有关 Agent 的最好的
OpenAI 翁荔提出大模型「外在幻觉」:万字 blog 详解抵抗办法、产幻原因和检测方式
2024-07-13 23:15:32来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- 学而思学练机教育平板发布:10.95 英寸“类纸护眼屏”、内置“九章大模型”,3999 元2024-08-30 21:10:26
- 国内运营商最大单集群智算中心在哈尔滨投用,可训练万亿参数大模型2024-08-31 09:21:36
- GE医疗与亚马逊云科技达成战略合作,通过生成式AI加速医疗健康领域转型2024-08-29 11:28:00
- IBM 推出全新Telum处理器,依托新一代 IBM Z 大型主机加速 AI 应用2024-08-29 16:52:00
- 红魔首款裸眼 3D 平板官宣:AI 眼动视线追踪、90Hz 追踪频率2024-08-29 15:14:28
- 最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB2024-08-29 15:29:44
- 雷鸟 XR 与博士眼镜成立合资公司,首款 AI 眼镜年底发布2024-08-29 15:44:01
- 魅族 21 手机推送 Flyme 11.1.0.0A 稳定版更新:新增 AI 通话助手、智能体商店等2024-08-29 17:35:21
- 利用 AI 技术制造谣言,一男子被厦门警方依法采取刑事强制措施2024-08-29 18:26:24
- 端到端架构点火,AI上车变飙车?2024-08-29 10:00:00