IT之家 7 月 20 日消息,来自斯坦福大学和加州大学伯克利分校的研究团队近日对 GPT-4 进行了深入研究,对比了今年 3 月和 6 月在处理数学问题、生成执行代码和完成视觉推理任务上的差异,发现 “智力”显著下降。以评估 GPT-4 数学能力的“17077 是质数吗?”问题为例,6 月的 GPT-4 产生了错误的答案,认为该数字并非质数。而且 GPT-4 并没有提供相关解释,准确率从 97.6% 下降到 2.4%。相比之下,GPT-3.5 确实有所改善,最初在 3 月份产生了错误的答案,在 6 月份产生了正确的答案。GPT-4 的能力在编码区域也有所下降。研究人员构建了一个新的代码生成数据集,其中包含了 LeetCode“容易”类别中的 50 个问题,并评估了 AI 模型生成的可直接执行程度。与 3 月份相比,GPT-4 的直接可执行版本从 52% 下降到 10%。这些代在代码前后添加了额外的引号,让其变为注释状态,不可执
研究报告称 GPT-4 “智力”明显下降
2023-07-20 11:22:09来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 报告称微软 7 月更新导致 Outlook 2016 无法打开邮件超链接2023-07-20 10:56:56
- 消息称 iOS 版铁路 12306 App 正内测适配实时活动,可显示车次号、始发终到情况2023-07-20 10:57:02
- 增强用户通话和聊天体验,微软 Teams 开始整合 AI 助手 Copilot2023-07-20 11:07:13
- 三星 Samsung Pay 决定继续对韩国信用卡公司免费,并计划续签合同2023-07-20 11:11:56
- vivo Pad Air 平板电脑通过国家质量认证,支持 44W 快充2023-07-20 11:16:51
- 消息称卡普空游戏大作《生化危机 9》2025 年发售,明年底还有全新 IP 登场2023-07-20 11:28:16
- 世嘉旗下多款游戏大作将亮相今晚 B 站高能电玩节2023-07-20 11:30:21
- 暴雪:6 月《暗黑破坏神 4》玩家破 1000 万、累计游戏时长超 7 亿小时2023-07-20 11:43:17
- 3699 元起,荣耀智慧屏 5 今日首销:开关机无广告、240Hz 刷新率2023-07-20 11:48:12
- PS5 和 XSX 主机版《遗迹 2》游戏确认支持 60FPS2023-07-20 11:55:03
- 1伟创力在2024 OCP全球峰会上发布用于人工智能数据中心的液冷机架和电源解决方案
- 2Supermicro推出适用于AI就绪数据中心的全新服务器和GPU 加速系统,搭载AMD EPYC™ 9005系列CPU…
- 3第二届超级桥峰会盛大开幕,全球领袖共赴迪拜展望新世代创新力量
- 4transcosmos在中国山东省日照市开设运营中心
- 5MONA交付延期,小鹏何时跨过“产能地狱”
- 6开普勒正式发布人形机器人先行者K2 开启商业化进程
- 7苹果,造不出四折叠?
- 8凯睿德制造MESI4.0峰会2025:全球制造菁英齐聚一堂,加速数字化转型
- 9Airbnb爱彼迎全面个性化升级,推出超50项产品升级拥抱今冬旅行季
- 10IBM最新调研:主机如何成为企业级AI的"最佳搭档"?