谷歌研制出 AI 编舞师：可根据音乐来 10 种 freestyle，霹雳、爵士、芭蕾舞随便选

图片地址：https://img.ithome.com/newsuploadfiles/2021/9/c8b99024-109b-4924-aa18-70bf6b658780.png

Transformer 又又接新活了 —— 这次谷歌用它搞了一个会根据音乐跳舞的 AI。而这个 AI 也凭借着对音乐和舞蹈之间的关联的深刻理解，打败了 3 个同类模型取得 SOTA，登上了 ICCV 2021。另外，除了代码开源，研究团队还随之一起公开了一个含有 10 种类型的 3D 舞蹈动作数据集。心动的，搞起来搞起来！这个 freestyle 怎么来？前面咱们不是说，这个 AI 用了 Transformer 吗？但这里的 Transformer 不是普通的 Transformer，它是一个基于完全注意力机制（Full-Attention）的跨模态 Transformer，简称 FACT。为什么要搞这么复杂？因为研究人员发现，光用单纯的 Transformer 并不能让 AI 理解音乐和舞蹈之间的相关性。所以，这个 FACT 是怎么做的呢？总的来说，FACT 模型采用了独立的动作和音频 transformer。首先输入 2 秒