Meta 首发「变色龙」挑战 GPT-4o，34B 参数引领多模态革命！10 万亿 token 训练刷新 SOTA

图片地址：https://img.ithome.com/newsuploadfiles/2024/5/bea35f34-e16b-4961-a2c2-ee9058d66593.png

【新智元导读】GPT-4o 发布不到一周，首个敢于挑战王者的新模型诞生！最近，Meta 团队发布了「混合模态」Chameleon，可以在单一神经网络无缝处理文本和图像。10 万亿 token 训练的 34B 参数模型性能接近 GPT-4V，刷新 SOTA。GPT-4o 的横空出世，再次创立了一个多模态模型发展的新范式！为什么这么说？OpenAI 将其称为「首个『原生』多模态」模型，意味着 GPT-4o 与以往所有的模型，都不尽相同。传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不同的模态分离开。然而，这种方法限制了模型，有效融合跨模态信息的能力。官博介绍，GPT-4o 是「首个端到端」训练的，跨越文本、视觉和音频的模型，所有的输入和输出，都由单个神经网络处理。而现在，业界首个敢于挑战 GPT-4o 的模型现身了！最近，来自 Meta 团队的研究人员发布了「混合模态基座模型」——Chameleon（变色龙