MIT 等首次深度研究「集成 LLM」预测能力：可媲美人类群体准确率

图片地址：https://img.ithome.com/newsuploadfiles/2024/4/15222ccc-14fa-4691-a3ae-d79b4366f324.png?x-bce-process=image/format,f_auto

针对 31 个问题，基于 12 个各式各样 LLM，两项研究结果表明，LLM 群体优于单纯的无信息基线模型，并且在统计上与人类群体没有差异。在实践中，人类预测的准确性依赖于「群体智慧」（wisdom of the crowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高。过去关于大型语言模型（LLMs）预测能力的工作表明，即便是最强大的 LLM 也仍然比不过人类的群体智慧。最近，来自伦敦政治经济学院、MIT 和宾夕法尼亚大学的研究人员做了两项研究，通过简单、实际适用的预测集成方法，表明 LLMs 可以实现与人类群体竞赛相当的预测准确率。论文链接：https://arxiv.org/ pdf / 2402.19379.pdf在第一个研究中，将 31 个二元问题由 12 个 LLM 进行集成预测，与为期三个月的预测锦标赛中 925 名人类预测者的预测进行了比较，主要分析结果表明，LLM 群体优于单纯的无信息基线模