研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer

图片地址：https://img.ithome.com/newsuploadfiles/2024/5/4aeaed4a-8184-4940-a19b-b8f8071a4f10.png?x-bce-process=image/watermark,image_aW1nL3dhdGVybWFyay9xYy9xYzEwNy5wbmc=,t_100,g_9,y_18,x_18,a_0/format,f_auto

IT之家 5 月 13 日消息，研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。IT之家从论文中获悉，Sepp Hochreiter 在新的 xLSTM 架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，从而允许相关神经网络结构能够有效地利用 RAM，实现类 Transformer“可同时对所有