微软 CTO 坚信大型语言模型的“规模定律”依然奏效，未来可期

图片地址：https://img.ithome.com/newsuploadfiles/2024/7/b51736f0-2a82-42e0-a75c-4078b4a74fa7.png?x-bce-process=image/format,f_auto

IT之家 7 月 16 日消息，微软首席技术官（CTO）凯文・斯科特（Kevin Scott）上周在接受红杉资本旗下播客采访时，重申了他坚信大型语言模型 (LLM) 的“规模定律”将继续推动人工智能进步的观点，尽管该领域一些人怀疑进步已经停滞。斯科特在推动微软与 OpenAI 达成 130 亿美元的技术共享协议方面发挥了关键作用。斯科特表示：“其他人可能持不同观点，但我认为规模化并未达到边际收益递减的临界点。我想让人们理解这里存在着一个指数级提升的过程，遗憾的是，你只能每隔几年才能看到一次，因为建造超级计算机然后用它们训练模型都需要时间。”2020 年，OpenAI 研究人员探索了 LLM 的“规模定律”，该定律表明，随着模型变得更大（参数更多）、训练数据更多以及拥有更强大的计算能力，语言模型的性能往往会呈可预测的提升。这一定律意味着，仅仅增加模型规模和训练数据，就能够显著提升人工智能能力，而无需取得根本性的算法突破。然而，此后