字节跳动博士研制的“AI 音乐家”火了：可一键完美分离人声和伴奏

图片地址：https://img.ithome.com/newsuploadfiles/2021/9/a03d88b2-333a-46d3-9b68-8c0f2456e768.png

AI 可以写歌、填词、改换风格、续写音乐。今天，AI 又来做编曲人了。上传一段《Stay》，一键按下，伴奏和人声就轻松分离。人声颇有种在空旷地带清唱的清晰感，背景乐都能直接拿去做混剪了！这样惊人的效果也引发了 Reddit 热议。这项研究的主要负责人孔秋强来自字节跳动，全球最大的古典钢琴数据集 GiantMIDI-Piano，也是由他在去年牵头发布的。那么今天，他又带来了怎样的一个 AI 音乐家呢？一起来看看。基于深度残差网络的音源分离这是一个包含了相位估计的音乐源分离（MSS）系统。首先，将幅值（Magnitude）与相位（Phase）解耦，用以估计复数理想比例掩码（cIRM）。其次，为了实现更灵活的幅值估计，将有界掩码估计和直接幅值预测结合起来。最后，为 MSS 系统引入一个 143 层的深度残差网络（Deep Residual UNets），利用残差编码块（REB）和残差解码块（RDB）来增加其深度：残差编码块和残差卷积块