Llama 8B 搜索 100 次超越 GPT-4o，推理 + 搜索即可提升性能

图片地址：https://img.ithome.com/newsuploadfiles/2024/8/4a27ecfa-2ef2-4321-bcd4-e45cfdfda521.jpg

最新论文表明，LLM 等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅 8B 的 Llama 3.1 模型搜索 100 次，即可在 Python 代码生成任务上达到 GPT-4o 同等水平。强化学习先驱、加拿大阿尔伯塔大学 CS 系教授 Rich Sutton 曾在 2019 年写下一篇名为《The Bitter Lesson》的博文，成为 AI 领域的经典论述之一。甚至，Rich Sutton 在字里行间体现出的直觉已经颇有 Scaling Law 的意味。原文地址：https://www.cs.utexas.edu/~eunsol / courses / data / bitter_lesson.pdf文章简要回顾了 AI 在象棋、围棋、语音识别和视觉等领域的发展道路，并提出了这样的观点：我们应该吸取的惨痛教训之一，就是要意识到通用方法的力量。随着可用算力猛增带来计算量的增加，这种方法