一项新的“大模型 Benchmark”在推特上爆火,LeCun 也点赞转发了!而且无论是 GPT-4 还是 Claude 3,面对它都如同被夺了魂,无法给出正确答案。难倒一众大模型的,是逻辑学当中经典的“动物过河”问题,有网友发现,大模型对此类问题表现得很不擅长。甚至有人观察到,几个不同的模型都给出了一致的(错误)答案,让人怀疑他们是不是用了相同的训练数据。针对这项测试,网友还定义了一个新的名词叫“劣效比率”(crapness ratio),让 LeCun 打趣说到,一项新的“Benchmark”诞生了。“模见模愁”的动物过河首先来看一下什么是“动物过河”问题,这是逻辑学当中的一道经典题目。问题的原型是这样的:农夫需要把狼、羊和白菜都带过河,但每次只能带一样物品,而且狼和羊不能单独相处,羊和白菜也不能单独相处,问农夫该如何过河。在这个问题当中,农夫需要七次(往返视为两次)过河 —— 先把羊运过去,然后空船返回,再把狼运过河,带回
大模型测试题爆火,GPT-4 和 Claude3 都跪了,LeCun 转发:新 Benchmark
2024-06-24 17:02:02来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- 钉钉上线AI搜索,还集齐了大模型“七龙珠” | 最前线2024-06-29 08:00:32
- 国产大模型下半场打响,星火究竟如何应用落地?|钛媒体AGI2024-06-28 20:13:38
- 恒生电子“量身定制”金融大模型,浪潮信息智算平台助力2024-06-28 10:36:00
- 科大讯飞发布星火智能批阅机:基于星火大模型,准确率 99%2024-06-28 09:45:16
- 加码“智慧办公”,荣耀宣布与字节豆包大模型达成合作2024-06-28 11:31:26
- 北京灵奥科技基于亚马逊云科技打造大模型中间件2024-06-27 13:57:00
- DXC Luxoft与ECARX携手合作,提升汽车制造商创新能力2024-06-27 21:38:00
- 华为 P40 / Mate 30、荣耀 30 / V30 系列等超 30 款设备获推鸿蒙 HarmonyOS 4.2 正…2024-06-27 17:02:04
- 华硕计划推出 4K 专业便携屏 ProArt Display PA16USV,配备 12G-SDI 接口2024-06-27 17:20:45
- 【硬科技周报】第23周:低空智能机器人企业“星逻智能”完成超亿元B轮融资,嵌入式AI芯片研发商Synthara完成110…2024-06-27 15:32:45
- 1钉钉上线AI搜索,还集齐了大模型“七龙珠” | 最前线
- 2华皓伟业完成4000万A轮融资,为国内首批车用LED国产替代商 | 36氪首发
- 31.5亿元中央预算内投资支持桂皖湘暴雨洪涝灾害灾后应急恢复
- 4摩根士丹利成立私募基金管理公司 注册资本1亿
- 5腾龙 50-300mm F / 4.5-6.3 相机镜头发售:索尼 E 卡口、5890 元
- 6努比亚 Z 系列手机新品官宣 7 月发布:搭载高通骁龙 8 Gen3 领先版,为“AI”而生
- 7热门中概股美股盘前多数上涨,B站涨2%
- 8IPO爆火的老铺黄金背后:截然不同的消费生意,和同一个投资人|专访
- 9新增 AI 消除、HiCar 通道车联,荣耀 Magic 6 系列手机获推 MagicOS 8.0.0.150
- 10联力推出 HydroShift LCD 系列 AIO 水冷散热器:2.88 英寸 IPS 屏幕、179.99 美元起