AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面

图片地址：https://img.ithome.com/newsuploadfiles/2024/7/e29cce14-9510-44f6-83e2-b5477be078b7.png

用 AI 生成的数据训练 AI，模型会崩溃？牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了 Nature 封面。如今，LLM 已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的，我们用网络数据训练出的 GPT-n，会发生什么？论文地址：https://www.nature.com/articles/s41586-024-07566-y研究者发现，如果在训练中不加区别地使用 AI 产生的内容，模型就会出现不可逆转的缺陷 —— 原始内容分布的尾部（低概率事件）会消失！这种效应，被称为「模型崩溃」。换句话说，合成数据就像是近亲繁殖，会产生质量低劣的后代。模型崩溃在 LLM、变分自编码器 VAE 和高斯混合模型 GMM 中，都可能会发生。有网友认为，是时候敲响警钟了！「如果大模型真的在 AI 生内容的重压下崩溃，这对它们的可信度来说就是末日了。如果它们吃的是机器人反刍