微比恩 > 信息聚合 > DeepMind:大型语言模型可实现“高效无损压缩音频影像”,有望运用于相关软件中

DeepMind:大型语言模型可实现“高效无损压缩音频影像”,有望运用于相关软件中

2023-09-27 21:38:05来源: IT之家

IT之家 9 月 27 日消息,DeepMind 研究人员日前评估大型语言模型(LLM)的压缩能力时,发现这些模型的“压缩能力”相当惊人,除了常规文字资料外,还可以压缩图像音频,相关内容已经发布在 ArXiv 上。据悉,DeepMind 在研究中,使用了一个名为“Chinchilla 70B”的模型,虽然这个模型主要使用文字训练,但是研究人员发现该模型也可用于压缩 ImageNet 图片,可将文件压缩至原始大小的 43.3%,甚至可将 LibriSpeech 语音样本压缩至原始的 16.4%。DeepMind 的研究证明,模型的“预测”能力和“压缩”能力之间存在“等价性”,因此研究人员可以使用任何压缩算法,建立一个更加强大的条件生成模型。IT之家注:“压缩”本质上就一种编码的过程,目标是要以更少的内容表示更多的资料,因此当模型达到一定的预测能力时,其实也就代表模型学会了一种编码的方式,这种编码方式能够用来压缩文件,因为模型已经理

关注公众号
标签: 软件