潞晨科技创始人尤洋：大模型训练的关键技术｜WISE2023颠覆AIGC产业发展峰会

5月23日，36氪举办「颠覆·AIGC」产业发展峰会。本次峰会汇聚产业力量，共同探讨企业、行业在面临变革时的应对策略，分享思考，探索和发现产业中最具潜力的企业与最具价值的技术，在激荡的环境中探寻前行的方向。 大会上，潞晨科技创始人 、新加坡国立大学校长青年教授尤洋发表了题为《大模型训练的关键技术》的主题演讲。尤洋指出，庞大的AI模型规模对模型训练提出了挑战，现有的硬件设备已无法满足训练所需的大量计算资源和储存空间需求。为解决上述问题，分布式训练技术是可用方案之一。 关于分布式优化技术在企业级大型模型的训练和部署中的应用，尤洋提出了三个关键点：高质量的数据集、计算网络存储的分布式系统，以及合适的基座模型。 具体来说，尤洋认为，企业在选择基座模型时，如果只需考虑业务应用，则可选择对现有的优秀开源模型进行少量的参数调整，无需过多创新；在训练技术的选择上，分布式训练面临通信和同步两大重要挑战。为此，企业可以使用分布式存储系统；在企