非 Transformer 架构 AI 模型 Liquid 问世，号称性能“凌驾 Meta Llama / 微软 Phi”

图片地址：https://img.ithome.com/newsuploadfiles/2024/10/9eb3d091-7ee4-47b3-829d-cd2a6851f18b.png?x-bce-process=image/format,f_auto

IT之家 10 月 2 日消息，去年刚成立的 Liquid AI 公司于 9 月 30 日发布了三款 Liquid 基础模型（Liquid Foundation Models，LFM），分别为 LFM-1.3B、LFM-3.1B 和 LFM-40.3B。这些模型均采用非 Transformer 架构，号称在基准测试中凌驾同规模的 Transformer 模型。IT之家注意到，目前业界在深度学习和自然语言处理方面主要使用 Transformer 架构，该架构主要利用自注意力机制捕捉序列中单词之间的关系，包括 OpenAI 的 GPT、Meta 的 BART 和谷歌的 T5 等模型，都是基于 Transformer 架构。而 Liquid AI 则反其道而行之，其 Liquid 基础模型号称对模型架构进行了“重新设想”，据称受到了“交通信号处理系统、数值线性代数”理念的深刻影响，主打“通用性”，能够针对特定类型的