GPT-4 不知道自己错了！ LLM 新缺陷曝光，自我纠正成功率仅 1%

图片地址：https://img.ithome.com/newsuploadfiles/2023/10/5e843c46-2f98-4a06-8778-4fd4e825b736.jpg?x-bce-process=image/format,f_auto

【新智元导读】GPT-4 根本不知道自己犯错？最新研究发现，LLM 在推理任务中，自我纠正后根本无法挽救性能变差，引 AI 大佬 LeCun 马库斯围观。大模型又被爆出重大缺陷，引得 LeCun 和马库斯两位大佬同时转发关注！在推理实验中，声称可以提高准确性的模型自我纠正，把正确率从 16%「提高」到了 1%！简单来说，就是 LLM 在推理任务中，无法通过自我纠正的形式来改进输出，除非 LLM 在自我纠正的过程中已经知道了正确答案。由 ASU 研究人员发表的两篇论文，驳斥了之前很多研究提出的方法「自我纠正」—— 让大模型对自己的输出的结果进行自我纠正，就能提高模型的输出质量。论文地址：https://arxiv.org/ abs / 2310.12397论文地址：https://arxiv.org/ abs / 2310.08118论文的共同作者 Subbarao Kambhampati 教授，一直致力于 AI 推理能力的相关研