上海交大发布「人类行为理解引擎」：深度学习 + 符号推理，AI 逐帧理解大片中每个动作

图片地址：https://img.ithome.com/newsuploadfiles/2022/3/73661d35-8846-4ec2-9b39-c20ca39c6506.png

看图看片，对现在的 AI 来说早已不是什么难事。不过让 AI 分析视频中的人类动作时，传统基于目标检测的方法会碰到一个挑战：静态物体的模式与行为动作的模式有很大不同，现有系统效果很不理想。现在，来自上海交大的卢策吾团队基于这一思路，将整个任务分为了两个阶段：先将像素映射到一个“基元活动”组成的过度空间，然后再用可解释的逻辑规则对检测到的基元做推断。△ 左：传统方法，右：新方法新方法让 AI 真正看懂剧里的卷福手在举杯 (hold)，右边的人在伸手掏东西 (reach for)：对于游戏中的多人场景也能准确分辨每一个角色的当前动作：甚至连速度飞快的自行车运动员都能完美跟随：能够像这样真正理解视频的 AI，就能在医疗健康护理、指引、警戒等机器人领域应用。这篇论文的一作为上海交大博士李永露，曾在 CVPR 2020 连中三篇论文。目前相关代码已开源。知识驱动的行为理解要让 AI 学习人类，首先要看看人类是怎么识别活动的。比如