苹果 Vision Pro 头显 AI 助手来袭：会调酒、能打麻将，甚至能开飞机

图片地址：https://img.ithome.com/newsuploadfiles/2023/6/d402f8fa-9bf8-43e7-9951-7766c78b6bef.gif

要是苹果 Vision Pro 头显加上 AI 助手，有多强？南洋理工大学与微软雷蒙德研究所带来一个震撼概念演示。人在飞机上，不知道怎么降落？带上头显把画面传给 AI，就能一步一步你操作。这个多模态 AI 助手名叫 Otter（水獭），以视频为输入，能完成多模态感知、推理、和上下文学习，也经过专门的遵循指令训练。更贴近生活一些的场景，在麻将桌上，Otter 分分钟教你胡几次大的。而当你锻炼身体时，Otter 可以充当你的计数器。调酒师小哥忘记配方时，也能分分钟化解尴尬。总之，它可以实时识别现实场景并回答人类提问，而且简直就是个全能选手。Otter 一共支持八种语言，中文也包括在内。训练过程中，团队专门使用了适用于 AR 头显的第一视角视频，宣传上也明示就是为苹果头显准备的。不过也有网友发现了华点。结果，Otter 在各测试项目上的平均成绩比传统的 MiniGPT-4、OpenFlamingo 等传统模型高出十余个百分点。如何实现