Alaya Lab的研究者如何让AI真正读懂游戏世界的规则

这项由Alaya Lab主导的研究发表于2026年7月论文编号为arXiv:2607.14076v1有兴趣深入了解的读者可以通过该编号查询完整论文。你有没有想过当你在游戏里按下攻击键的那一刻背后究竟发生了什么屏幕上的角色不是直接就挥出了拳头——游戏引擎要先偷偷查一遍你的体力值够不够、技能有没有在冷却、敌人此刻的姿势是不是可以被击中确认所有条件都符合规则之后才把对应的画面渲染出来。这套先查规则、再出画面的流程是传统游戏引擎几十年来运转的核心秘密。然而人工智能领域正在兴起一种截然不同的思路能不能训练一个AI模型让它直接从大量游戏视频中学会这套规律然后自己充当一个游戏引擎实时生成玩家操作后应该看到的画面这种被称为交互式世界模型的技术近年来引发了学术界和工业界的广泛关注许多人认为它代表着下一代游戏引擎的雏形。但问题也随之而来这类AI模型到底做到了什么又在哪些地方还差得远Alaya Lab的研究团队决定系统性地审视这个问题。他们以传统游戏引擎的运转逻辑为参照系把一个合格的AI游戏引擎应该具备哪些能力这件事拆解成四个维度逐一检视现有的各类方法分析每种方法的优势和局限。与此同时他们还围绕知名动作游戏《黑神话悟空》构建了一套数据采集系统收录了超过90小时的实战游戏录像每一帧都附带玩家的键鼠操作记录、游戏引擎导出的真实状态数据以及视觉画面为未来研究提供了一份难得的资源。---一、游戏引擎的运转秘籍一个被大多数AI忽视的循环要理解这篇研究在说什么先要搞清楚传统游戏引擎是怎么工作的。可以把它的运转方式比作一场不停歇的接力赛玩家输入动作动作传给裁判游戏状态系统裁判根据规则判断结果并更新比赛局面最后画师渲染系统把更新后的局面画出来给玩家看。这三个环节——动作、状态、画面——构成一个反复循环的闭环游戏世界就在这个循环里一刻不停地演进。关键在于中间那个状态环节。游戏引擎始终维护着一份精确的账本记录着场景中每一个角色的血量、体力、所处位置、当前动画帧、装备属性等等。玩家按下攻击键引擎不是直接生成攻击画面而是先翻开账本核查——你的体力够发动这个技能吗对方正处于可被打断的状态吗攻击判定框和对方的碰撞体积有没有重叠一切核查通过之后账本上的数字发生变化对方的血量减少动画状态切换然后渲染系统才把这一切画成画面呈现给你。现有的AI世界模型大多数绕过了这个账本环节。它们直接用最近几帧的画面作为参考预测下一帧应该长什么样。这种方式确实能生成看起来连贯的画面但它把所有的规则都压缩进了像素之间的统计关联而不是真正理解底层的逻辑。于是就出现了一些根本性的问题同样是按攻击键血量充足时和血量耗尽时理应有截然不同的结果但基于像素预测的模型往往分不清这两种情况敌人离开视野之后它的状态在真实游戏中还在持续演变但AI模型根本不知道屏幕外正在发生什么某个技能击中之后伤害结果应该在规定的动画帧数之后才显现而不是立即跳出数字但AI的生成时机往往和游戏规则对不上。Alaya Lab的研究团队把这些问题归结为四个维度玩家动作控制、游戏状态动态、状态与画面的持久一致性、实时交互生成。以下的内容就是沿着这四个维度展开的。---二、玩家怎么说话AI才能听懂——动作控制的三种语言游戏里的玩家输入其实远比看起来复杂。移动、转镜头这些是空间几何上的操作普通攻击、闪避这些是设备上的按键信号而在boss即将发动大招时找准时机完成反击这种意图根本没有对应的按键它需要结合当前的战场状态才能被理解。现有的研究方法基本上沿着三条不同的路线来处理这个问题。第一条路线可以叫做几何语言。这类方法把玩家的操作理解为摄像机在空间中的运动轨迹用数学上的旋转矩阵、平移向量或者光线方向来表达镜头往左转了多少度。这种方式对于控制视角非常精确生成出来的画面在镜头移动上表现得相当一致。但问题也很明显它只解决了看哪里的问题对于做什么完全无能为力。而且要求普通玩家提供精确的摄像机轨迹数据本身就是一件不切实际的事情。第二条路线叫做信号语言。这类方法直接接收键盘和鼠标的原始输入状态——哪些键按下了、鼠标移动了多远——然后把这些信号编码成向量作为生成下一帧画面的条件。Oasis、Matrix-Game等系统都采用了这个思路。这种方式更接近玩家的真实操作方式而且对于简单、原子性的操作比如前进或者射击效果相当不错。然而原始信号本身是语义模糊的。同样是按了某个攻击键在不同的游戏状态下它可能触发普通连击、也可能触发技能爆发、还可能因为体力不足而什么都不发生。这种同一个输入多种可能结果的模糊性让模型很难学到正确的映射关系尤其是那些需要多键组合的连招技能。第三条路线叫做语义语言。这类方法用自然语言描述玩家的意图比如向右闪避并发动反击技能让语言模型来理解这段文字并驱动画面生成。GameGen-X、Yume等系统走的就是这条路。这种方式最为灵活甚至可以描述一些传统按键根本无法表达的复杂意图。但随着控制粒度越来越细所需的语言描述也越来越长、越来越复杂计算代价会急速上升实时交互变得困难重重。三种路线各有其擅长的场景也各有无法回避的缺陷。几何语言精准但局限信号语言自然但语义模糊语义语言灵活但代价高昂。一个真正完备的交互式游戏世界需要能同时处理这三种层次的控制——这目前还是一个未被解决的问题。---三、AI的账本在哪里——游戏状态的三种存在形式如果说动作控制是游戏引擎的输入端那么游戏状态就是其核心处理器。它决定了同样的动作在不同条件下会产生什么不同的结果。现有的AI世界模型在处理这个问题时大体上走了三条不同的路。最主流的做法是把状态藏进像素里。这类模型完全不维护任何独立的状态表示只是把最近若干帧的画面作为历史记录然后根据这些画面加上当前的动作输入预测下一帧画面应该长什么样。Sora、Wan这样的顶尖视频生成模型以及游戏专用的GameNGen、DIAMOND等都走的是这条路。这种做法的好处是简单粗暴、效果惊艳——因为继承了视频生成领域海量数据训练出来的视觉理解能力生成的画面质量相当高。但坏处同样明显游戏规则被压缩成了像素与像素之间的统计关系而不是显式的逻辑判断。血量只剩一格和血量满格时同一个攻击的结果理应截然不同但对于一个只看像素的模型来说这两种情况下的画面输入看起来可能非常相似模型很难区分。第二种做法是维护一个压缩的潜藏状态。这类方法在模型内部保留一个紧凑的向量表示专门用来跟踪游戏世界的整体状况然后随着每一步操作不断更新这个向量。强化学习领域的世界模型研究比如著名的Dreamer系列就是沿着这条路发展起来的。这种方式不需要游戏内部的状态标注数据可以纯粹从视频中学习因此扩展性比较好。但问题在于这个内部向量是什么含义连训练它的研究者都说不清楚——它捕捉到的是视觉层面的规律对于那些由非视觉原因比如血量数值驱动的视觉变化它的表现往往不可靠。第三种做法是用文字或符号把状态写出来。这类方法用结构化的文本直接记录游戏状态比如玩家当前血量720/1000体力85/100正在执行重攻击第二段动作然后把状态的演变转化为一个语言推理问题让语言模型来预测下一时刻的状态文本。这种方式的优点是高度可读、可验证——任何人都能看懂这些数字代表什么也能核查推理是否合理。然而维护这样的显式状态需要大量带有精确状态标注的游戏数据而这类数据目前极度稀缺。此外用离散的文字记录连续动态的游戏画面本身就存在信息损失如何把文字状态和高质量的视觉生成真正打通目前还基本上是一片空白。---四、离开画面之后世界还在转——长时记忆的两种思路在真实的游戏里一旦某件事情发生了它的影响就会永久留存。你把boss打掉了一半血然后跑开躲避追击等你回头boss的血量绝对不会自己悄悄恢复。但对于大多数基于画面预测的AI世界模型来说画面内能看到的信息才是它所知道的全部——一旦某个物体离开了视野模型就对它发生的事情一无所知等它再次出现在画面里时很可能已经被悄悄复原了。研究人员在这个问题上提出了两大类解决方案区别在于记忆里存的是过去发生了什么还是现在是什么状态。第一类方法存的是过去的照片。它们把历史帧画面保存下来当模型需要参考过去时就从这个照片库里检索出相关的帧。有些方法按时间顺序索引越久远的帧存得越压缩有些方法按空间位置索引回头看之前去过的地方时就把当时拍下的照片调出来作为参考。WorldMem、Infinite-World等系统都采用了类似思路。这类方法在场景相对静态的情况下表现不错——你之前看到的那扇门下次回来还是那扇门。但在动态交互丰富的游戏里这种方法会遇到根本性的困境你上次看到那栋建筑时它完好无损但在你离开的这段时间里一场技能爆炸把它炸掉了一半照片库里存的还是完好状态一旦你回头模型就可能把那栋完好的建筑还原出来而不是呈现它应有的残垣断壁。第二类方法存的是当前的推测。这类方法的出发点是既然世界在你看不见的时候还在变化那就不能只靠存照片得主动推断那段时间里发生了什么并更新记忆里的状态。ActWorld、Hybrid Memory等系统走的就是这条路——它们尝试跟踪那些暂时离开视野的动态物体推算它们在不可见期间的状态演变。这种方式理论上更符合游戏世界的运转逻辑但代价也更高推断需要消耗计算资源推断的准确性也难以保证而且游戏里的高频交互会产生大量细小的状态变化每一次都要做出正确的更新决策这个要求目前还没有令人满意的解决方案。---五、快和准的两难困境——实时生成的速度与时机一个游戏世界模型不只要生成正确的内容还要在正确的时刻生成出来。这里面其实藏着两个截然相反的要求很少有研究把它们同时说清楚。第一个要求是快从玩家按键到屏幕上看到反应这个延迟必须极短否则游戏会有明显的迟滞感影响操控手感。这部分的研究非常活跃CausVid等工作通过把需要正向反向同时计算才能生成结果的双向扩散模型蒸馏成只需正向一步步预测的快速版本大幅降低了生成每一帧所需的时间。Matrix-Game 2.0等系统进一步把这套技术和游戏动作输入结合起来在实时速率下完成了交互式画面生成。第二个要求则更微妙可以叫做准时不同的游戏事件有它们各自被设计好的发生时机。一次重攻击要经历起手动作、判定激活、收招三个阶段最终的伤害数字不应该在按键瞬间就弹出来而应该在判定帧结束时才显现。如果AI模型的生成逻辑对这种事件发生的规定时机一无所知它就可能把结果提前展示或者延迟展示都会让玩家觉得游戏感觉不对劲。目前的研究几乎全部集中在缩短生成延迟上而对让效果在正确时机出现这件事几乎没有涉及。Yume-1.5等系统展示了在滚动生成的视频流中动态切换文本指令的能力但事件触发的具体时机仍然由模型自身的生成先验决定没有任何机制把它和游戏规则定义的判定时机对齐。这是一个被大多数研究者忽略、却对实际游戏体验影响深远的问题。---六、一套专门为《黑神话悟空》打造的数据采集系统研究团队不只是提出了理论框架他们还针对现有数据的不足亲手构建了一套数据采集系统。选择《黑神话悟空》作为目标并非偶然——这款基于虚幻引擎开发的3A动作角色扮演游戏拥有极高的画面质量和丰富的战斗机制boss战场景中频繁的攻防交互和持续的状态演变正是研究游戏世界模型最理想的实验场。数据采集的核心难题在于如何把游戏画面和游戏内部状态同步对齐。研究团队对游戏引擎进行了插桩改造让引擎在每一个计算帧tick都导出一条结构化的数据记录涵盖当前帧的玩家输入、摄像机位置和旋转参数、玩家角色与boss的位置、朝向、当前动画状态、技能激活情况以及血量、体力、攻击力、防御力、装备信息等游戏属性。这些数据以JSON格式实时写入本地文件每一帧都带有系统时间戳。在画面记录方面研究团队采用了一套基于ReShade和OBS Studio的分屏录制方案。ReShade着色器把显示区域分割成若干子窗口分别呈现RGB彩色帧和深度图同时通过禁用相关渲染通道把游戏UI界面剥离保留干净的游戏世界画面。OBS Studio被改造为同步记录每一帧画面对应的系统时间戳从而和引擎侧的数据记录建立共同的时间基准实现帧级别的精确对齐。数据来源是众包玩家群体他们技术水平参差不齐、游戏风格各异自然地产生了多样化的行为数据避免了单一风格导致的数据偏差。最终收集到的数据集包含超过90小时的1280×720分辨率、30帧每秒的游戏录像并经过时间戳对齐、异常帧过滤、卡顿检测和跨流一致性校验等处理流程形成了可直接用于模型训练的样本。在数据标注层面研究团队还设计了两种形式的文本化描述。第一种叫槽位标注把固定长度时间窗口内的动作和状态记录按照结构化模板转写成文字保留了所有精确的数值信息但用结构化文本替代了引擎内部的数字编号。第二种叫语义标注由Qwen3系列的大型视觉语言模型结合采样帧画面和对应的动作状态记录自动生成用流畅的自然语言描述玩家在这段时间里做了什么以及游戏状态发生了怎样的演变。这两种标注可以分别用作下一状态预测的监督信号和视觉生成的状态条件输入为未来的状态感知游戏世界模型提供了现成的训练材料。---七、这一切意味着什么——现状的客观评估与未来的方向说到底这篇研究做的事情是在一片热火朝天的领域里冷静地画出一张地图——告诉大家哪些山头已经被占领了哪些山头还根本没人去过。在已经取得显著进展的方向上玩家动作的接入方式越来越自然从最早只能处理离散的Atari按键到现在能够理解键鼠信号和自然语言指令覆盖范围大幅扩展。可探索的场景质量也在快速提升最新的视频生成骨干模型已经能够产出接近真实游戏截图水准的画面。生成速度方面通过蒸馏和流式生成技术的组合已经有系统实现了接近实时的帧率这在几年前是不可想象的。然而最核心的那个问题——让AI真正理解并执行游戏规则——依然基本上悬而未决。绝大多数模型把游戏状态埋进像素里把规则压缩成视觉统计这意味着它们在处理结果取决于当前状态这类逻辑时表现相当不可靠。如何把显式的游戏状态真正纳入生成循环如何让记忆系统在状态发生变化时做出正确的更新如何让事件结果在规则要求的时刻而不是模型认为合适的时刻出现这三件事构成了当前这个领域最迫切需要解决的核心挑战。研究团队构建的《黑神话悟空》数据集正是为攻克这些挑战预备的弹药。在此之前带有精确状态标注的游戏数据极度稀缺使得所有想要探索显式状态建模的研究都缺乏充足的训练素材。这个数据集的价值在于它把游戏引擎内部的完整状态信息和画面录像进行了帧级别的对齐记录使得研究者第一次可以在一个高质量的真实游戏环境中直接训练和评估那些把状态作为显式变量的模型。归根结底这项研究想说明的是让AI真正读懂游戏世界的规则不是一个视频质量的问题而是一个逻辑理解的问题。生成漂亮的画面已经不再困难但让AI知道在什么条件下应该生成什么样的画面仍然是一段相当漫长的路。如果有一天AI世界模型能够真正复现出按攻击键 → 查体力 → 判断结果 → 渲染画面这套游戏引擎的核心逻辑那才算是真正意义上的下一代游戏引擎。现在的技术还停在学习游戏长什么样的阶段距离真正理解游戏为什么这样还有一段关键的距离需要跨越。---QAQ1交互式游戏世界模型和传统游戏引擎有什么本质区别A传统游戏引擎依靠工程师手写的规则运转每一种游戏逻辑都需要明确编程。交互式游戏世界模型则是通过大量游戏录像训练AI让模型自己摸索出规律来预测玩家操作后应该出现的画面。前者的规则精确可控后者免去了手工编程但目前的AI模型大多只学到了视觉上应该长什么样还没真正学会在什么条件下应该发生什么比如血量不足时攻击应该失败这类逻辑判断仍然不可靠。Q2《黑神话悟空》的数据集和普通游戏录像有什么不同A普通游戏录像只有画面。这个数据集的特殊之处在于每一帧画面都同步附带了游戏引擎内部导出的完整状态数据包括角色血量、体力、位置、当前动画状态等精确数值以及玩家当时的键鼠输入记录。这种画面加状态加操作的三元对齐让研究者可以训练那些需要理解游戏状态才能做出正确预测的模型而不只是学习画面之间的视觉规律。Q3游戏状态藏进像素里和写出来这两种方式各自有什么问题A把状态藏进像素里的方式优点是不需要任何额外标注可以直接从大量视频里学习视觉质量高但模型无法真正区分血量充足和血量耗尽这类只有数值差异的情况导致相同输入在不同状态下应有不同结果时表现混乱。用文字把状态写出来的方式优点是逻辑清晰可验证但需要大量精确的状态标注数据而且离散的文字描述和连续动态的游戏画面之间如何打通目前还基本上没有成熟的方案。