揭秘 iPhone 里的 Transformer：基于 GPT-2 架构，分词器含 emoji，MIT 校友出品

图片地址：https://img.ithome.com/newsuploadfiles/2023/9/7b9834b4-bf89-43df-af3e-df9eddefa107.png?x-bce-process=image/format,f_auto

苹果 Transformer 的“秘密”，让发烧友给扒出来了。大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。比如，在今年的 WWDC 上，苹果就已宣布，船新版本的 iOS 和 macOS 将内置 Transformer 语言模型，以提供带文本预测功能的输入法。苹果官方没有透露更多信息，但技术爱好者们可坐不住了。一位名叫 Jack Cook 的小哥，就把 macOS Sonoma beta 翻了个底朝天，结果，还真挖出不少新鲜信息：模型架构上，Cook 小哥认为苹果的语言模型更像是基于 GPT-2 打造的。在分词器（tokenizer）方面，表情符号在其中十分突出。更多细节，一起来看。基于 GPT-2 架构先来回顾一下苹果基于 Transformer 的语言模型能在 iPhone、MacBook 等设备上实现怎样的功能。主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。