全面超越 Transformer：清华蚂蚁推出纯 MLP 架构，长短程时序预测大幅提升

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/154f72ff-33d1-4b89-baab-424b9fa935f8.png

Transformer 很强，Transformer 很好，但 Transformer 在处理时序数据时存在一定的局限性。如计算复杂度高、对长序列数据处理不够高效等问题。而在数据驱动的时代，时序预测成为许多领域中不可或缺的一部分。于是乎，蚂蚁同清华联合推出一种纯 MLP 架构的模型 TimeMixer，在时序预测上的性能和效能两方面全面超越了 Transformer 模型。他们结合对时序趋势周期特性的分解以及多尺度混合的设计模式，不仅在长短程预测性能上大幅提升，而且基于纯 MLP 架构实现了接近于线性模型的极高效率。来康康是如何做到的？纯 MLP 架构超越 TransformerTimeMixer 模型采用了一个多尺度混合架构，旨在解决时间序列预测中的复杂时间变化问题。该模型主要采用全 MLP（多层感知机）架构，由过去可分解混合 Past Decomposable Mixing (PDM) 和未来多预测器混合 Future Mu