斯坦福大学研究发现，AI 聊天机器人 ChatGPT 的表现很不稳定

图片地址：https://img.ithome.com/newsuploadfiles/2023/9/c1afa1cf-68fa-4992-b442-cc0afc47fdf2.png?x-bce-process=image/format,f_auto

IT之家 9 月 7 日消息，斯坦福大学的一项新研究发现，热门生成式人工智能（AI）聊天机器人 ChatGPT 的能力在几个月内有所波动。斯坦福大学的团队评估了 ChatGPT 在几个月内如何处理不同的任务。他们发现，ChatGPT 的能力随时间的推移而出现了不一致。目前，ChatGPT 有两个版本 —— 免费的 GPT-3.5 模型和更智能、更快速的付费 GPT-4 版本。 研究人员发现，GPT-4 在 3 月份能够有效地解决数学问题，识别质数的准确率为 97.6%。三个月后，其准确率下降到了 2.4%。而另一方面，GPT-3.5 却变得更好，从 7.4% 的准确率提高到了 86.8%。研究人员还注意到，在编写代码和视觉推理方面也有类似的波动。斯坦福大学计算机科学教授 James Zou 称：“当我们调整一个大型语言模型来提高它在某些任务上的表现时，那可能会有很多意想不到的后果，可能会损害这个模型在其他任务上的表现…