浪潮信息Lance SUN：高效数据编排，加速数据在AI场景释放潜能

北京2024年7月2日 /美通社/ -- AIGC作为当下最火的技术话题，其业务流程涉及到数据的采集、处理、训练、推理和归档五个阶段，每个阶段都面临着不同的存储需求和挑战。随着数据量的爆炸性增长，特别是随着多模态数据的快速增长，对存储系统的扩展性和服务兼容性也提出了新的挑战。 在2024年数据基础设施技术峰会上，浪潮信息分布式存储产品线架构师Lance Sun博士发表了题目为"高效数据编排，加速释放数据潜能"的主旨演讲，详细讨论了高效数据编排对于解决上述挑战，并释放数据潜能的重要性。 AIGC带来的存储挑战凸显了数据的重要性 首先，Lance Sun博士详细介绍了AIGC对存储提出的需求和挑战，让我们对AIGC的业务流程和对数据存储的需求有了更深入的认识。 第一个是巨量多模态数据的挑战。很多大语言模型都采用了来自Common Crawl的数据集，这个组织在过去17年已经采集了2500亿网