GPT-4 不会图形推理？“放水”后准确率依然只有 33%

图片地址：https://img.ithome.com/newsuploadfiles/2023/11/ca47a286-644e-4a4d-b1d3-65268afec0b1.png?x-bce-process=image/format,f_auto

GPT-4 的图形推理能力，竟然连人类的一半都不到？美国圣塔菲研究所的一项研究显示，GPT-4 做图形推理题的准确率仅有 33%。而具有多模态能力的 GPT-4v 表现更糟糕，只能做对 25% 的题目。△虚线表示 16 项任务的平均表现这项实验结果发表后，迅速在 YC 上引发了广泛热议。赞同这项结果的网友表示，GPT 确实不擅长抽象图形处理，“位置”“旋转”等概念理解起来更加困难。但另一边，不少网友对这个结论也有所质疑，简单说就是：不能说是错的，但说完全正确也无法让人信服。至于具体的原因，我们继续往下看。GPT-4 准确率仅 33%为了评估人类和 GPT-4 在这些图形题上的表现，研究者使用了自家机构于今年 5 月推出的 ConceptARC 数据集。ConceptARC 中一共包括 16 个子类的图形推理题，每类 30 道，一共 480 道题目。这 16 个子类涵盖了位置关系、形状、操作、比较等多个方面的内容。具体而言，这些题