探究Google mBERT的奥秘：深度学习如何处理人类语言？

图片地址：https://images.tmtpost.com/uploads/images/2021/02/2ab4b75bfe0bb552f61db3c2cca5380f_1614502724.jpeg

图片来源@视觉中国文丨学术头条具有语言能力的深度学习系统已经广泛应用于人们的生活当中。其中一些系统使用了 Google 发布的特定深度学习模型 —— 多语言 BERT（Multilingual BERT，简称 mBERT）。mBERT 模型可以同时接受大约 100 种语言的训练，这种多语言的训练使模型可以完成各种语言任务，例如，将文本内容从一种语言翻译成另一种语言。虽然已经发现 mBERT 模型在许多语言任务中表现良好，但是人们对 mBERT 模型 “如何创建文本并如何做出预测” 的相关信息并不清楚。为此，来自斯坦福大学、加州大学欧文分校和加州大学圣巴巴拉分校的研究人员联合开展了一项新的研究，研究目的是为了更好地理解基于 mBERT 模型的技术是如何运行的，以及它是如何创建语法特征的。相关研究结果以 “Deep Subjecthood: Higher-Order Gra