GPT-4o 能玩《黑神话：悟空》：精英怪胜率超人类，无强化学习纯大模型方案

图片地址：https://img.ithome.com/newsuploadfiles/2024/9/a3e0d5ef-eef8-41ca-9e84-8654ca24e724.gif

AI 玩黑神话，第一个精英怪牯护院轻松拿捏啊。有方向感，视角也没有问题。躲闪劈棍很丝滑。甚至在打鸦香客和牯护院时，AI 的胜率已经超过人类。而且是完全使用大模型玩，没有使用强化学习。阿里巴巴的研究人员们提出了一个新型 VARP（视觉动作角色扮演）智能体框架。它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成 Python 代码形式的动作，以此来操作游戏。以玩《黑神话・悟空》为例，该智能体在 90% 简单和中等水平战斗场景中取胜。GPT-4o、Claude 3.5 都来迎战研究人员以《黑神话・悟空》为研究平台，一共定义了 12 个任务，75% 与战斗有关。他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共 1000 条有效数据。每个操作都是由原子命令的各种组合组成的序列。原子命令包括轻攻、闪避、重攻击、回血等。然后，他们提出了 VARP 智能体框架。主要包含动作规划系统和人类引导轨迹系统。其中动作规划系统由情境库、