现在看音乐家无声表演视频，AI也能给出正确的结果

图片地址：https://img.ithome.com/newsuploadfiles/2020/8/20200804_132319_121.jpg

在 2020 年欧洲计算机视觉会议（ECCV 2020）上，麻省理工学院（MIT）和沃森人工智能实验室的研究人员介绍了一种人工智能系统——Foley Music，它可以从音乐家演奏乐器的无声视频中产生 “貌似合理”的音乐。研究人员说，它可以用于各种音乐演奏，并且，与现有的 “某些”系统相比，它生成的音乐更加悦耳。论文链接：https://arxiv.org/pdf/2007.10984.pdf研究者们坚信，一个可以从身体运动轨迹推断声音的人工智能模型可以作为一系列应用的基础，从自动给视频添加声音效果，到为虚拟现实创造沉浸式体验，不一而足。认知心理学的研究表明，人类早已拥有这种技能——即使是年幼的儿童，他们听到的内容也会受说话人的肢体行为影响。为表示动作，Foley Music 会从视频帧中提取二维的关键坐标点来模拟身体和手部的动作，关键点包括身体（25 点）和手指（21 点）。对于音乐，系统采用乐器数字化接口（MIDI）的表征形