关于大模型注意力机制,Meta 又有了一项新研究。通过调整模型注意力,屏蔽无关信息的干扰,新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练,只靠 Prompt 就能让大模型的准确率上升 27%。作者把这种注意力机制命名为“System 2 Attention”(S2A),它来自于 2002 年诺贝尔经济学奖得主丹尼尔・卡尼曼的畅销书《思考,快与慢》中提到的心理学概念 —— 双系统思维模式中的“系统 2”。所谓系统 2 是指复杂有意识的推理,与之相对的是系统 1,即简单无意识的直觉。S2A 通过提示词对 Transformer 中的注意力机制进行了“调节”,使模型整体上的思考方式更接近系统 2。有网友形容,这种机制像是给 AI 加了一层“护目镜”。此外,作者还在论文标题中说,不只是大模型,这种思维模式或许人类自己也需要学习。那么,这种方法具体是如何实现的呢?避免大模型被“误导”传统大模型常用的 Transformer
更像人脑的新型注意力机制,Meta 让大模型自动屏蔽任务无关信息,准确率提高 27%
2023-11-27 23:18:36来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- 学而思学练机教育平板发布:10.95 英寸“类纸护眼屏”、内置“九章大模型”,3999 元2024-08-30 21:10:26
- 国内运营商最大单集群智算中心在哈尔滨投用,可训练万亿参数大模型2024-08-31 09:21:36
- 源大模型AIPC助手YuanChat焕新!支持12种文档构建知识库+联网检索2024-08-28 18:17:00
- 苹果 iPhone 17 系列被曝升级 12GB 内存,能够更好地支持端侧 AI 大模型2024-08-28 19:48:44
- 全新 smart 精灵#5 大五座 SUV 首秀:字节豆包 AI 大模型、方盒子造型2024-08-28 20:53:06
- HomeLight完成2000万美元D+轮融资、住建部部长倪虹:推进建筑业转型升级、广联达发布L2 级场景大模型| Pr…2024-08-28 11:40:53
- 字节火山引擎总裁谭待:现在大模型价格回归正常水平,原来太贵了2024-08-28 09:11:10
- 字节被曝成立“大模型研究院”,知情人士称其“未决定建立独立机构”2024-08-28 09:22:53
- 移远通信推出大模型解决方案,重塑千行百业智能边界2024-08-27 10:00:00
- 小鹏图灵芯片流片成功:40 核心可运行 30B 参数 AI 大模型、号称面向 L4 自动驾驶打造2024-08-27 20:03:34