用 AI 生成的数据训练 AI,模型会崩溃?牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文,今天登上了 Nature 封面。如今,LLM 已经强势入侵了人类的互联网,极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的,我们用网络数据训练出的 GPT-n,会发生什么?论文地址:https://www.nature.com/articles/s41586-024-07566-y研究者发现,如果在训练中不加区别地使用 AI 产生的内容,模型就会出现不可逆转的缺陷 —— 原始内容分布的尾部(低概率事件)会消失!这种效应,被称为「模型崩溃」。换句话说,合成数据就像是近亲繁殖,会产生质量低劣的后代。模型崩溃在 LLM、变分自编码器 VAE 和高斯混合模型 GMM 中,都可能会发生。有网友认为,是时候敲响警钟了!「如果大模型真的在 AI 生内容的重压下崩溃,这对它们的可信度来说就是末日了。如果它们吃的是机器人反刍
AI 训 AI 遭投毒 9 次后大崩溃,牛津剑桥等发现登 Nature 封面
2024-07-25 16:41:11来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- GE医疗与亚马逊云科技达成战略合作,通过生成式AI加速医疗健康领域转型2024-08-29 11:28:00
- IBM 推出全新Telum处理器,依托新一代 IBM Z 大型主机加速 AI 应用2024-08-29 16:52:00
- 红魔首款裸眼 3D 平板官宣:AI 眼动视线追踪、90Hz 追踪频率2024-08-29 15:14:28
- 最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数,4bit 量化下内存占用小于 700MB2024-08-29 15:29:44
- 雷鸟 XR 与博士眼镜成立合资公司,首款 AI 眼镜年底发布2024-08-29 15:44:01
- 魅族 21 手机推送 Flyme 11.1.0.0A 稳定版更新:新增 AI 通话助手、智能体商店等2024-08-29 17:35:21
- 利用 AI 技术制造谣言,一男子被厦门警方依法采取刑事强制措施2024-08-29 18:26:24
- 端到端架构点火,AI上车变飙车?2024-08-29 10:00:00
- 源大模型AIPC助手YuanChat焕新!支持12种文档构建知识库+联网检索2024-08-28 18:17:00
- 苹果 iPhone 17 系列被曝升级 12GB 内存,能够更好地支持端侧 AI 大模型2024-08-28 19:48:44