微比恩 > 信息聚合 > 语言 AI 原来知道自己的回答是否正确!伯克利等高校新研究火了,网友:危险危险危险

语言 AI 原来知道自己的回答是否正确!伯克利等高校新研究火了,网友:危险危险危险

2022-07-15 14:32:15来源: IT之家

语言 AI,具备了人类的自我审视能力:最近,一个来自加州大学伯克利分校和霍普金斯大学的学术团队研究表明:它不仅能判断自己的答案正确与否,而且经过训练,还能预测自己知道一个问题答案的概率。研究成果一经发布,就引起热议,有人的第一反应是恐慌:也有人认为,这项成果,对神经网络研究具有正面意义:语言 AI 具备自我审视能力研究团队认为,如果要让语言 AI 模型自我评估,必须有一个前提:语言 AI 回答问题时,会校准自己的答案。这里的校准,就是语言 AI 预测一个答案的正确概率,是否与实际发生的概率一致。只有这样语言 AI 才可以运用这种校准的能力来评估自己输出的答案是否正确。所以第一个问题是,语言 AI 能否对自己的答案进行校准?为了证明这个问题,研究团队为 AI 准备了 5 个选择题:答案选项,以 A、B、C 的形式给出。如果 AI 模型答案的正确率超过偶然几率,那么就证明 AI 模型给出的答案是经过校准的。而测试的结果是,语言 AI

关注公众号
标签: AI