GPT-4o 攻破 ARC-AGI 无法被挑战的神话！71% 准确率成新 SOTA

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/dd4fefea-566d-42c3-a180-333d9c45a339.png

号称不可能轻易被击败的 AGI 基准 ARC-AGI 被 GPT-4o 撼动，GPT-4o 以在公共测试集 50%、在训练集 71% 的准确率成为了新的 SOTA！ARC-AGI 是唯一可以用来衡量通用人工智能进展的基准，创造者 François Chollets 曾经掷下豪言 ——「它不可能轻易被击败！」为了测试这一点，他于 2020 年在 Kaggle（Google LLC 旗下的数据科学竞赛平台）上主办了首届 ARC-AGI 竞赛。获胜团队 icecuber 在测试集上仅取得了 21% 的成功率，这个成绩强有力地证明了 François 的断言是正确的。此后几年，来自世界各地的挑战者不断刷新这个纪录，但进展缓慢。ARC-AGI 似乎成为了一座不可跨越的高山。可是这周二，ARC-AGI 基准无法被挑战的神话被 GPT-4o 撼动了！GPT-4o 以在公共测试集 50%、在训练集的保留子集 71% 的准确率成为了新的 SOTA