ChatGPT 说谎是故意的？哈佛大学提出 ITI：模型真实性翻倍，计算开销基本为零

图片地址：https://img.ithome.com/newsuploadfiles/2023/6/42f8bd9f-1148-4b90-bef9-244ea30f6547.png?x-bce-process=image/format,f_auto

GPT 内部表征确实存在真实信息，哈佛学者提出 ITI 引导输出走向事实方向。大型语言模型，比如 ChatGPT 经常会在答案中输出错误信息，可能会对用户造成误导，这种现象也被称为模型幻觉（hallucination）。从直觉上看，语言模型上在训练中肯定是见过正确答案的，只不过在推理过程中丢失了事实信息。最近，哈佛大学的研究人员提出了推理-时间干预（Inference-Time Intervention，ITI）技术，在推理阶段对模型激活进行变换（shift），将模型输出引导到事实的方向上，干预结果显著提高了 LLaMA 模型在 TruthfulQA 基准测试中的性能，将 Alpaca 模型的真实性从 32.5% 提高到 65.1%论文链接：https://arxiv.org/ pdf / 2306.03341.pdf代码链接：https://github.com/ likenneth / honest_llama研究人员用此技