多模态模型能认出画面里有三个敌人，只能说明它看见了。真正困难的是判断谁在追谁、谁在掩护谁，以及玩家为什么突然开始后退。过去一两年，多模态大模型进入3D游戏环境已经是一个清晰的研究趋势，但这条线上最有价值的工作，未必是“模型又能看懂什么”，而是有人开始认真测量“模型到底在哪里看不懂”。这篇动态想做的，就是把其中一份基准的观察整理清楚，再诚实地讨论它对爱游戏的设计意味着什么，以及哪些话我们不该替它说。

一份基准盯上的不是“看见”，而是“谁在做什么”

这里引用的是ACL 2026收录的GameplayQA基准论文（long paper，arXiv编号2603.24329）。它的出发点很明确：把多模态大模型当作3D虚拟环境里自主智能体的“感知系统”来评测。也就是说，它不关心模型能不能写出一段漂亮的画面描述，而关心模型能不能给一个要行动的智能体提供可靠的感知。

它的做法有三个值得注意的地方。第一，素材是多人3D游戏视频，而不是单人、单视角的演示片段，场景里同时有自己、队友、对手和环境在变化。第二，标注是密集且时间同步的，每一段事件都对应到具体时间点，这让“什么时候发生了什么”成为可以被检验的东西。第三，问答不是随便出的开放题，而是从这些标注里派生出约2.4K道诊断式问题，按认知复杂度分成三个层级，并且配有结构化的干扰项分类。

干扰项分类这一点常被忽略，却很关键。一道选择题答错了，光知道“错了”几乎没有信息量；如果错误选项是按“把队友的动作当成自己的”“把之前发生的事说成现在”这类原因系统地设计的，那么模型选了哪个错误选项，就等于暴露了它的错误习惯。这是一种面向诊断而不是面向排名的评测思路，也是它值得被写进动态而不只是被放进榜单的原因。

Self、Other、World：三个不能混着答的问题

基准的核心结构是三元划分：Self（玩家自己）、Other Agents（其他角色，包括队友、对手和NPC）、World（环境、任务与资源状态）。这个划分看上去只是分类方便，实际上对应了三种性质不同的理解任务。

  • Self：我刚才做了什么，我现在处于什么状态。信息来源偏向控制输入、第一视角画面和界面状态。
  • Other Agents：别人在做什么，意图大概是什么，和我是什么关系。它要求模型在画面里把“谁”和“做了什么”绑在一起。
  • World：地图、物件、任务目标、资源在如何变化。它更依赖对场景状态的持续记忆，而不是某一帧。

如果只用一个笼统的“看图问答”准确率去衡量模型，这三类能力会互相抵消，看不出短板在哪。把它们拆开，才可能发现一个模型也许对World的静态描述不错，却在Other Agents的归因上频繁出错。对做产品的人来说，这个拆法提供了一份现成的能力清单：一个游戏助手如果要回答“我该不该撤”，它至少要分别回答这三个问题，然后再合并。

难在“之前”：时间与跨视频对齐

这份基准归纳出的常见失败里，第一类是时间与跨视频对齐（temporal and cross-video grounding）。翻成日常的话，就是模型经常搞不清“什么时候”和“从谁的视角”。

游戏和一般视频的差别在于，当前画面里的很多现象是由几秒甚至几十秒前的事件决定的。一个技能现在为什么不可用、一名队友为什么突然离开阵型，答案往往不在这一帧里。多人游戏还有一层：同一个事件在不同玩家的视角里，出现的时间、角度和被遮挡的程度都不一样。要判断“队友那边看到的敌人，和我这边看到的是不是同一个”，就要在多段视频之间做对齐。这类问题并不神秘，但一旦模型只擅长“对着当前画面回答”，它就会在这里成批地出错。

这也解释了为什么不少产品演示看起来很聪明，一进入连续对局就露怯：演示通常是一张截图加一个问题，而真实对局是一条没有暂停键的时间线。关于这一点，我们在游戏大模型连续看20分钟时为什么突然变难里有更展开的讨论，这里不再重复。

角色归因与决策密度：两个放大器

第二类失败是角色归因（agent-role attribution），也就是“谁做了什么”。在单人游戏里，画面里的主要行动者只有一个，归因问题很小；在多人场景里，几个角色穿着相似、动作相近、镜头还在晃，模型很容易把甲的动作记到乙的头上。这个错误在文字回答里几乎无法被察觉，因为句子本身通顺、语气笃定，只有对照标注才能看出主语错了。

第三类是游戏的决策密度高：事件多、变化快、彼此之间还有因果关系。同样是“判断当前局势”，一段慢节奏的探索和一段团战之间，可供推理的时间窗口完全不在一个量级。决策密度本身不是模型的缺陷，它是任务的性质，但它会把前两类错误放大：时间稍微对不齐，归因稍微出偏差，在高密度事件里就足以让结论整个翻掉。

综合起来，基准给出的总体判断是：前沿多模态模型与人类之间仍有明显差距，而且差距集中在上述几个地方。这个判断我们只按定性的方式引用，不引用任何具体分数，也不讨论哪个模型排在前面。原因很简单：分数依赖于具体的题目版本和测试设置，脱离上下文转述，很容易变成误导。

对爱游戏设计的启发：把“理解”拆成可检查的部分

把这些观察放回爱游戏的设计里，我们得到的不是一个漂亮的结论，而是几条比较具体的取舍。需要先说明：以下是爱游戏的设计思路，不是对已上线功能的描述，具体形态以后续正式发布的说明为准。

第一，输出要带主语。我们更倾向于让游戏理解模块产出结构化的记录，比如“谁、在什么时间、对什么、做了什么”，而不是一段自由发挥的解说。主语和时间戳被写成字段，归因错误就变成可以被发现和统计的错误，而不是藏在通顺语句里的隐患。这与多模态游戏模型为什么必须同时听、看、读、理解操作里讲的思路是一致的：模态越多，越需要一个统一的、可核对的中间表示。

第二，时间线是一等公民。既然“之前”是主要的失败来源，就不应该让模型每次都从当前帧重新猜起。更合理的做法是维护一条事件时间线，把关键事件（技能释放、队友倒下、任务状态变化）按时间记下来，回答问题时先查时间线，再看画面。这样做也让“为什么现在不能用技能”这类问题有了可追溯的依据。

第三，来源要分级。能从游戏内状态直接读到的信息，比如任务进度、资源数量，可靠度高于从画面里猜出来的信息。在游戏本身允许、玩家也授权的前提下，优先使用可靠来源，把纯视觉推断留给拿不到状态的地方。

下面是一个模拟场景，用来说明这几条取舍放在一起是什么样子。假设四名玩家在一个合作副本里，玩家甲正在向后退。一个只看当前画面的助手，可能会看到“前方有两个敌人”并建议“继续输出”。而按上面的思路，系统会同时参考：时间线里十秒前队友乙已经倒下；界面文字显示弹药所剩不多；控制输入显示玩家甲已连续几秒在后退；语音里有人喊了“先拉开”。综合起来，更合理的提示是“队友乙倒下，你在拉开距离，是否需要我标出最近的掩体”，并且是以提示的形式，而不是替玩家做决定。这个场景里所有细节都是模拟的，用来说明流程，不代表任何真实对局数据。

边界与风险：评测不等于产品能力

最后必须把话说清楚。首先，一个基准衡量的是“模型作为感知系统在特定题目上的表现”，它并不等于“一个游戏助手在真实玩家手里好用”。基准里的题目是离线的、标注好的，真实对局里的输入更嘈杂，玩家还会做出任何题库里没有的操作。

其次，引用一份研究，并不意味着爱游戏的方案已经在其上得到了验证。我们从中借来的是问题的拆法和错误的分类，而不是一个“已达到某水平”的声明。谁要是在产品宣传里把公开基准的结论包装成自己的能力，那才是这类动态最应该警惕的写法。

再次，游戏Agent的评测正在越来越强调可验证的操作，而不只是文字回答。一句“建议你撤退”听起来合理，但它是否真的在那个时刻带来更好的局面，需要看后续的行为才能判断。对于一个辅助型的助手，我们的默认立场是：它给提示，玩家做决定；在不确定的时候，宁可提问，也不要替玩家行动。

还有一个容易被忽略的风险是隐私。要让模型同时理解画面、声音和队友行为，就会碰到语音与聊天内容，这些必须以明确授权为前提，并且默认在本地处理、可随时关闭。理解得越多，越需要把“不看什么”也设计清楚。

下一步值得盯的，是错误类型而不是成绩单

回头看这份基准，它最有价值的地方在于，它把“多模态游戏AI看得不够好”这句含糊的话，拆成了几类可以逐个攻克的具体问题：对齐、归因、密度。对爱游戏来说，接下来值得持续关注的，也是这些错误类型如何变化，而不是某一天谁刷新了一个数字。我们会继续用这种方式读研究：只引用能核实的部分，先问它能帮我们把哪个环节做得更可检查，再问它能不能写进宣传。