SU 哈佛亚马逊最新研究：量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了

图片地址：https://img.ithome.com/newsuploadfiles/2024/11/d812988e-bb5d-46fb-be60-e0963458a34e.png?x-bce-process=image/format,f_auto

4-bit 量化，能让现有反学习 / 机器遗忘技术失灵！也就是大模型在人类要求下“假装”忘记了特定知识（版权、私人内容等），但有手段能让它重新“回忆”起来。最近，来自宾夕法尼亚州立大学、哈佛大学、亚马逊团队的一项新研究在 reddit、Hacker News 上引起热议。他们发现对“失忆”的模型量化（quantization），可以部分或甚至完全恢复其已遗忘的知识。原因是在量化过程中，模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。看到这项研究后，不少网友也表示有点意外：从信息理论的角度来看这有点出人意料，似乎已经在完整的 32-bit 中成功移除了这些知识，但当你将其压缩到 4-bit 时，知识又重新出现了。这让人不禁想知道在压缩 / 量化步骤中到底丢失了什么信息。可能这些知识从未真正丢失，只是被隐藏了。如果我们把神经网络看作是代码，权重就是源代码，微调实际上可能有效地修改了这些代码，以阻止返回某些结果。因此，你