1. 世界模型为什么突然成了车企的香饽饽1.1 从语言大模型到世界模型一段绕不开的背景要说清楚这家车企做的事得先聊聊“世界模型”这个词的近两年变化。语言类大模型火起来之后大家都意识到一个道理只要数据量足够大神经网络真的能从符号序列里“悟出”知识。可语言只是人类描述的抽象层物理世界的运行并不完全依赖语言。一个球从手里落下轨迹是抛物线一辆车在湿滑路面转弯横向力会突然变化。这些现象背后是连续时空里的状态转移规律语言大模型并不擅长建模。世界模型想补的正是这一环。它不再只预测下一个“Token”而是预测下一帧图像、下一个体素状态、下一时刻的三维场景。假如系统输入过去几秒的摄像头画面、激光雷达点云和车辆运动状态模型能直接输出未来几秒的鸟瞰视角特征那它就真正摸到了物理世界的“经验规则”。这个概念其实来自强化学习领域但过去一直停留在仿真游戏里。直到自动驾驶把传感器数据、车身状态和海量路采数据攒到一定量级世界模型才有了产业化土壤。这家车企做的世界模型通俗讲就是用一个统一的神经网络把车外世界“看一遍、想一想、猜一猜”最后给出驾驶决策和场景解释。它不是某一个孤立的算法而是一整套从数据处理、模型训练到车端部署的技术体系。我拆这个消息的原因很简单它很可能把自动驾驶的研发范式从“感知–预测–规划”的流水线切换成“全栈建模–决策生成”的端到端模式。1.2 车企为什么非要自研世界模型买供应商方案不香吗早期智能驾驶可以做“供应商集成”算成套件买回来加上规则就行。但做到城市高位阶辅助驾驶时传统的模块化方案开始寸步难行。一个路口有多少种诡异场景施工改道、电瓶车鬼探头、旁边车压着线犹豫不决。规则工程师写了上万条规则依然会出现没见过的组合。自研世界模型的好处在于第一性原理上的收益。世界模型不依赖人写死“某物体在某位置就应该怎么处理”而是学习海量驾驶数据里的隐含模式。它可以泛化出一点“常识感”就是那种老司机不用多想就知道旁边车可能要并线、前车刹车灯亮了就得准备跟着减速的感觉。这种感觉没法用逻辑规则表达数据驱动模型却可以。另外商业账也算得过来。这家车企的产品同时卖车和智能驾驶选装包智能座舱也需要环境理解能力。一个世界模型经过适应性微调既能服务自动驾驶也能服务语音助理、AR导航和泊车。一个底座两边用研发成本被摊薄数据也能互相复用。这种“一套模型、两个场景”的打法是纯供应商给不了的技术纵深。1.3 技术升级背后其实是方法论的一次切换传统自动驾驶是“分而治之”感知模型负责认物预测网络负责猜轨迹规划模块负责找路径控制模块负责执行。每个模块都可以单独调优听起来很工程化但有个致命缺陷——信息流是单向的、串行的。感知漏检了后面全错规划不知道感知有多不确定就会在安全边界上做出极其保守的行为。为了让系统不犯错工程师只能不断加规则去兜底结果就是代码膨胀到难以维护。世界模型的思路是“聚合而治”。所有传感器信息先统一编码成空间特征再在一个大网络里同时完成对当前场景的理解、对未来演变的预测和对驾驶行为的决策。全局信息在每一层都能互相影响不再有“部门墙”。你可以把它想象成开会以前每个模块各派代表隔空喊话现在是所有代表坐进同一间会议室共享同一块白板。会议效率当然更高但黑盒风险也来了——没人能百分百解释最终决策到底由哪几笔特征主导。这个问题我后面单独聊。2. 这家车企世界模型的整体设计拆解2.1 输入侧多模态传感器怎么融合才不吃亏世界模型要吃进海量数据但传感器之间不是简单叠加。这家车企的量产车上摄像头负责高分辨率纹理信息毫米波雷达负责速度估计激光雷达负责精确距离。传感器时间同步是第一道坎。如果一帧图像和一帧雷达点云相差50毫秒高速场景下目标位置的偏差就能达到一米。所以车端有一套预处理流水线把各传感器数据按照同一时刻戳对齐再通过标定参数将雷达点云投影到图像坐标系做像素级匹配。模型输入分成三个分支。第一支是视觉特征用卷积网络或者视觉Transformer抽取图像横向和纵向的空间特征第二支是点云特征因为激光雷达点云稀疏用稀疏卷积比普通卷积高效得多第三支是车辆状态特征包括速度、方向盘转角、踏板开度、挡位。三个分支的特征在某个中间层拼到一起再喂给时空Transformer。滤波器层面我补充一个实测后的经验不能把所有原始数据都送进去预处理时一定要做自适应降噪。比如雨天的雷达反射噪点、大逆光下的过曝帧都需要提前过滤。不然模型容易学到“天气噪声”而不是“道路规律”。这家车企在人眼看不到的工程细节上花了不少功夫这类脏数据清洗其实比网络结构设计还影响最终效果。2.2 核心结构一个带记忆的时空Transformer拆开这家车企公布的技术细节最核心的模块是一个时空Transformer它不单处理当前时刻还把过去一叠加信号框进上下文窗口。所谓的“记忆”其实就是多帧特征序列。假设系统每秒处理15帧过去6秒就是90帧这90帧的视觉特征加上车辆状态会一起进入注意力机制。这样做的好处是模型能学到时间层面的动态规律。比如前方一辆车打了一个灯准备变道它的横向位置在时间轴上会有连续偏移。模型可以通过注意力权重把“过去3秒的横向偏移”和“当前变道意图”关联起来这在纯单帧检测里是完全做不到的。输出侧大致有三个头Head。场景重构头输出下一帧的鸟瞰视角BEV特征主要用于理解静态环境运动预测头输出周边每个动态物体的轨迹分布可能是多条带概率的轨迹决策头根据前两个头的特征结合自车状态输出轨迹点序列和驾驶命令。三头共享同一个骨干网络训练时可以联合优化推理时如果只想用其中一个功能也可以只取对应的头部署灵活性很好。2.3 为什么说模块化方案已经落后了传统模块化方案好比接力赛第一棒感知跑完把检测框交给第二棒预测第二棒算完轨迹再交给第三棒规划。每一棒都可能掉棒而且交接过程还会丢失信息。举个例子感知模型检测出前方有一个行人但它没法告诉规划模型“我对这个行人的置信度只有60%它可能突然加速”。预测模型只能收到一个框和类别并不知道原始图像里行人的姿态和遮挡情况。这种信息损耗到了错综复杂的城市路口会被无限放大。世界模型因为所有信息都在同一个特征空间里流转感知特征可以直接参与决策计算。它在训练时就会自己学到“当这个区域特征模糊时最好不要贸然加速”这样的潜规则。它更像一个整体系统而不是一堆零件的拼装。我并不是说模块化一无是处它的可调试性和安全性在很长一段时间里依然有意义。但从研发效率看模块化方案已经碰到天花板。这家车企当初敢把主架构切换到世界模型其实是拿量产稳定性做了一次大赌注至少从目前成果看赌赢了一半。2.4 输出侧的三维场景是理解一切的关键这家的世界模型一个很特别的输出是“三维场景表示”。不是简单的2D检测框而是包含深度信息和语义类别的体素或特征向量场。这个三维表示可以被下游任意模块消费。智能座舱想展示导航箭头它直接去取这个三维表示自动泊车想找到空车位也去同一份三维表示里查自动驾驶想判断可行驶区域依然用它。这种“一份表示、多处复用”的设计比单一功能模型要优雅很多。过去做HUD导航要单独建一个三维感知模块做泊车又要建一个雷达建图模块做着做着就变成重复造轮子。统一表示之后只要基础世界模型迭代一次所有下游能力一起提升。这也是他们舍得用重资源去搞世界模型的根本原因。3. 数据从哪里来训练世界模型的粮食战争3.1 未来帧能当标签但轨迹真值要靠自蒸馏训练世界模型需要为预测任务找监督数据。最直观的标签就是“未来帧”。行车记录仪天然保存了后视视角训练时把第t帧作为输入把第t1帧作为目标模型就能自监督学习。这相当于让模型不停地追在时间后面自己逼自己理解画面演化规律。但自动驾驶还需要运动轨迹真值。你不能只让模型知道下一帧画面变了还要让它具体知道“那辆蓝色小车会向左并线路径大概是这样”。这需要轨迹级别的标签。人工标注太贵逐帧画框能把人画吐。这家车企用了一种“自蒸馏”思路先用一个离线大模型对历史数据做检测、跟踪和轨迹生成产出高质量的伪标签再用这些伪标签训练世界模型。第一轮训练出的世界模型又可以回来辅助标注新数据形成一个螺旋上升的回路。这里有个非常现实的坑伪标签中有大量噪声尤其遮挡、截断、夜晚场景轨迹会跳变。如果直接当硬标签训模型会被噪声带偏。我看来他们的解决办法是给每个预测轨迹附带不确定性分数损失函数里根据不确定性做加权高噪声样本权重自动降低。这个思想在NLP里见过迁移到轨迹预测上也非常有效。3.2 真实路采数据和仿真数据该怎么混着喂训练数据来源分两大类。一类是真实车队回传。这家车企卖出去的车都有数据回传通道用户授权后脱敏数据传到云端。云端平台会做场景挖掘挑出难例复杂路口、近距离切桩、事故录像、暴雨天气、隧道光线突暗等等。这些难例能有效提升模型下半身但数据分布已经偏向复杂场景。另一类是仿真数据。他们用了神经辐射场和三维高斯泼溅技术重建了一些城市道路的数字孪生再在孪生世界里面生成极端交通流。比如让一个骑三轮车的老人突然从遮挡物后面冲出来这种场景在真实数据里可能一万英里都遇不到一次仿真里可以随随便便跑出一百个变体。比较关键的训练配比问题。我个人猜测他们最终的经验比例大约是七成真实数据、三成仿真数据。真实数据用来守基本盘保证语义分布贴近真实世界仿真数据用来补长尾帮模型建立安全条件反射。比例不能失衡仿真数据太多模型会把渲染瑕疵当真真实场景里反而失灵仿真太少又起不到补齐盲区的作用。这个7比3是动态调的不同阶段会变化。3.3 算力资源与训练策略烧钱烧出来的工程艺术训这种规模的世界模型不可能靠一两台服务器。业界能查到消息的说法是训练集群动辄上千卡训练时长数周甚至数月。电费、租金、人力成本都是天文数字。车企很少真的自建大规模智算中心更多是和云厂商签租约。训练过程中要随时监控loss还要防止训练崩溃工程师得半夜爬起来调参。为了避免无效烧钱一个很实用的策略是“先粗后细”。先用低分辨率、帧间隔稍大的数据做预训练让模型抓住时间演化和场景语义的主干再用高分辨率、连续帧数据做微调把细节和精度补上。这在语言大模型里叫两阶段训练视觉世界模型同样适用。此外他们还在训练中引入课程学习先让模型学简单场景比如高速路、空旷直道再逐步加难农村小路、老城区窄道、全拥堵工况。这套课程安排能显著减少训练发散的概率。真正跑过训练的人会明白稳定产出比瞬时指标好看更重要。3.4 有一套严格的路测验收流程模型练出来不等于能上车。我了解到他们有一个“场景库回归测试”机制。每次新模型上线前必须跑一遍上万条历史难例片段对比新老模型在同一个输入下的表现。只有安全合议指标不低于老模型才会进入封闭场地测试然后才是小规模用户内测。这个流程比单点指标重要得多。只看平均精度可能模型在普通场景变好却在某个高危场景偷偷变差。场景库回归能拦住这类回归缺陷。没有这个门槛再漂亮的世界模型也只是实验室玩具。4. 世界模型落地到量产车之后体验变化有多大4.1 城市驾驶从“教科书式保守”到“带点人味”上了世界模型之后城市导航辅助驾驶给人的第一印象是“不再那么机械”。传统方案遇到旁边车有挤压趋势系统经常先来一脚刹车等你反应过来又突然加速坐车的人会觉得这司机很“神经质”。根本原因是感知预测规划分开预测网络输出一个概率规划层只看最高概率轨迹不知道这个轨迹置信度其实很低于是做出急刹车。世界模型在无保护左转、汇入主路、绕行静态障碍这些复杂场景里表现得更像老司机。它能综合利用多帧时序信息判断旁边车未来的挤压趋势同时也评估自车加速通过的可能性。有车主反馈系统在快到拥堵尽头时能提前跟随前车缓慢蠕动而不是傻傻等到前车走远才大脚油跟上。这种体感差异是试驾时一坐进副驾就能感觉到的。当然世界模型不是一个满分司机。在一些没有清晰车道线的园区道路模型偶尔会犹豫方向盘小幅修正次数变多。这说明它还在用自己的方式理解非结构化场景这种路况可以靠后面持续收集数据慢慢改善。4.2 智能座舱语音助手突然“看懂了”世界座舱是这套模型给用户的另一个惊喜。传统语音助手只能理解“打开空调”“播放音乐”对车外世界一窍不通。接入世界模型之后助手能理解视觉画面和动态变化。例如车辆驶近一个视野被大货车遮挡的隧道口模型判断前方可能有拥堵和盲区语音会主动提醒“前方可见度较低建议提前减速。”AR导航也受益明显。过去导航箭头贴着路面信息绘制没有深度遇到迭层立交容易画错。现在世界模型输出带深度信息的车道级场景AR箭头可以牢牢“钉”在真实车道上转弯提示人车合一。这个细节看着不大但每天在城市里跑可以减少走错路概率。另外自动泊车可以一次进库。模型理解周围障碍物和车位的三维结构以及相邻车的车门是否会突然打开。它看起来只是个泊车实际包含了动态预测。这种能力是过去靠超声波雷达加规则方案很难做出来的。4.3 数据飞轮终于真正转了起来量产车的真实数据回传构成了世界模型持续进化的燃料。销量越大跑在路上的车越多收集到分布外的场景就越多。云端训练好新模型后通过OTA把参数推送到车端车端下次遇到类似场景就能表现更好成功后又会促进销量。这是一个正循环。但飞轮也不是自动转好的。如果只收集高难场景模型在小城市普通道路上可能会因为缺乏日常数据而退步。他们特别设计了数据分层采样不同城市、不同道路等级、不同天气光照都要按比例抽取。这种“数据多元化”管理比一味追求数据量更重要。我见过太多团队只盯着多少TB数据结果模型上线后在下载量表里找不到一种气候。4.4 用户口碑与争议什么人在夸什么人在骂从各方反馈来看喜欢驾驶科技的用户普遍很兴奋觉得这车“懂人”。保守型用户会抱怨智能驾驶有时候显得“激进”比如面对加塞车辆不是第一时间让出空间而是尝试贴着前车保持位置。其实是系统判断对方只是压线试探没有真正要切进来。但坐在座舱里的乘客不了解这个逻辑会觉得吓人。所以这家车企在系统设置里提供了“舒适”“标准”“激进”三档驾驶风格。即使调成舒适部分执行动作还是比老款更果断。这在新老车主之间形成一些讨论。我的看法是任何更强的AI系统都会有一段磨合期关键看厂商能不能快速根据数据修正策略而不是闭门造车。至少从OTA频率看他们的迭代速度比传统车企快了一个时代。5. 常见问题、批评与给自研团队的避坑指南5.1 端到端黑盒和安全性如何共存世界模型最大的软肋是“黑盒可解释性”。传统模块化感知到预测到规划每一层可以输出中间结果出问题时工程师可以定位是感知漏检还是预测漂移。端到端大网络就像一个黑箱你只知道输入传感器数据、输出方向盘转角但说不清是哪一层的哪一个特征导致了错误决策。对自动驾驶这种安全攸关系统来说这是很大的政策与工程挑战。这家车企的做法是混合架构世界模型负责驾驶决策但模型出口后面挂了一道“规则安全锁”。安全锁会校验最终轨迹是否违反交通规则底线比如是否越过实线、是否太接近行人。如果模型生成的轨迹超出安全边界安全锁会切换到保守策略。相当于用白盒规则给黑盒模型兜底。我觉得这是当前阶段最务实的解法纯端到端不加任何安全约束就量产是对用户不负责任。但这仍然没法解决所有问题一些风险不是简单规则能定义的比如“旁边大货车可能侧翻”。模型输出没违反规则但隐含了风险安全锁也拦不住。因此还需要继续提升模型自身对危险场景的敏感性以及加装更多传感器冗余。5.2 数据分布偏见所有世界模型都会踩的坑训练数据来自车队但实际路上跑的车辆分布并不均匀。一个极端的例子某品牌在某一线城市销量巨大当地复杂环路训练得很棒但在三四线城市道路画线模糊驾驶员习惯也和一线城市完全不同模型很可能在水土不服的地段表现得像新手。这不是算法问题而是数据覆盖度问题。解决手段无非两条一是主动引导车主收集特定场景数据比如开新车型、去新城市跑几圈二是购买第三方路采数据补充分布。两者都要高强度投入而且还涉及数据确权问题。很多团队前期完全忽略数据分布训练时只追整体准时率最后换来一堆分布外事故报告。听过太多血泪教训我只能反复强调数据集一定要做地域、天气、时段、道路层级四维分层。5.3 算力边界云端模型和车端模型的差异世界模型参数量很大根本不可能完整放到车端实时运行。现有量产方案基本是“云端大模型车端小模型”的组合。云端大模型跑在海量数据上做离线训练和场景挖掘车端小模型只保留少量关键子模块配合规则和决策树运行。这样既能享受大数据训出的常识又能满足车规级延迟。但这会引入一个新问题当车端小模型遇到从未见过的场景时云端的理解帮不上忙因为它不在线。这就像你出门带着一个三岁小孩遇到问题只能靠他现场反应背后的大脑再聪明也来不及指挥。为了保证安全车端必须有一套保守的降级逻辑一旦不确定度太高就选择停车或退出。否则断网时会非常危险。我看到有用户反馈说。网络波动时某些功能会自动退出但退出提示不够醒目这是值得优化的交互问题。5.4 给想自研世界模型的团队几条实操建议最后给同行几条掏心窝的避坑建议。第一别一上来就追求万亿参数先用一个小规模模型把数据闭环跑通确认数据质量和供应链都稳定再扩大规模。第二要有明确的不确定性指标。模型必须学会表达“我不知道”而不是对不明物体硬预测。自动驾驶里“谨慎停车”永远比“胡说八道冲过去”安全。第三批量做模型更新时一定要跑长尾场景回归把新旧模型放同一条难例集上PK差一个百分点都不能上线。第四与法规和保险团队保持同步给产品定位留足安全冗余宣传时切忌夸大。这些建议听上去不够“性感”但真正能救命的往往是流程和底线而不是模型参数量。结尾我个人在这两年拆解过不少智能驾驶技术方案看多了会觉得行业有点浮躁什么想法都要蹭大模型的名字。但世界模型这个方向确实解决了传统自动驾驶模块化方案的核心痛点也打开了座舱体验的新想象空间。这家车企敢在量产车上把世界模型当成主架构同时保留规则安全锁算是既有野心也有敬畏。如果非要挑一个最期待的点我希望下一阶段能把“世界模型主动交互”做出来。现在的系统更多是“司机助理”未来应该能像副驾老手一样问一句“前面堵车我建议绕行辅路要走吗”或者“右后方大车离太近要不要我先踩一点速度。”这种基于场景理解和语言生成的交互才是世界模型真正价值爆发的时刻。到那时候我还会再把这项技术拎出来重新拆一轮。 
长河君 · 2026/10/21 13:42:12 · 阅读 1.2k 车企自研世界模型：用统一神经网络重构自动驾驶
1. 世界模型为什么突然成了车企的香饽饽1.1 从语言大模型到世界模型一段绕不开的背景要说清楚这家车企做的事得先聊聊“世界模型”这个词的近两年变化。语言类大模型火起来之后大家都意识到一个道理只要数据量足够大神经网络真的能从符号序列里“悟出”知识。可语言只是人类描述的抽象层物理世界的运行并不完全依赖语言。一个球从手里落下轨迹是抛物线一辆车在湿滑路面转弯横向力会突然变化。这些现象背后是连续时空里的状态转移规律语言大模型并不擅长建模。世界模型想补的正是这一环。它不再只预测下一个“Token”而是预测下一帧图像、下一个体素状态、下一时刻的三维场景。假如系统输入过去几秒的摄像头画面、激光雷达点云和车辆运动状态模型能直接输出未来几秒的鸟瞰视角特征那它就真正摸到了物理世界的“经验规则”。这个概念其实来自强化学习领域但过去一直停留在仿真游戏里。直到自动驾驶把传感器数据、车身状态和海量路采数据攒到一定量级世界模型才有了产业化土壤。这家车企做的世界模型通俗讲就是用一个统一的神经网络把车外世界“看一遍、想一想、猜一猜”最后给出驾驶决策和场景解释。它不是某一个孤立的算法而是一整套从数据处理、模型训练到车端部署的技术体系。我拆这个消息的原因很简单它很可能把自动驾驶的研发范式从“感知–预测–规划”的流水线切换成“全栈建模–决策生成”的端到端模式。1.2 车企为什么非要自研世界模型买供应商方案不香吗早期智能驾驶可以做“供应商集成”算成套件买回来加上规则就行。但做到城市高位阶辅助驾驶时传统的模块化方案开始寸步难行。一个路口有多少种诡异场景施工改道、电瓶车鬼探头、旁边车压着线犹豫不决。规则工程师写了上万条规则依然会出现没见过的组合。自研世界模型的好处在于第一性原理上的收益。世界模型不依赖人写死“某物体在某位置就应该怎么处理”而是学习海量驾驶数据里的隐含模式。它可以泛化出一点“常识感”就是那种老司机不用多想就知道旁边车可能要并线、前车刹车灯亮了就得准备跟着减速的感觉。这种感觉没法用逻辑规则表达数据驱动模型却可以。另外商业账也算得过来。这家车企的产品同时卖车和智能驾驶选装包智能座舱也需要环境理解能力。一个世界模型经过适应性微调既能服务自动驾驶也能服务语音助理、AR导航和泊车。一个底座两边用研发成本被摊薄数据也能互相复用。这种“一套模型、两个场景”的打法是纯供应商给不了的技术纵深。1.3 技术升级背后其实是方法论的一次切换传统自动驾驶是“分而治之”感知模型负责认物预测网络负责猜轨迹规划模块负责找路径控制模块负责执行。每个模块都可以单独调优听起来很工程化但有个致命缺陷——信息流是单向的、串行的。感知漏检了后面全错规划不知道感知有多不确定就会在安全边界上做出极其保守的行为。为了让系统不犯错工程师只能不断加规则去兜底结果就是代码膨胀到难以维护。世界模型的思路是“聚合而治”。所有传感器信息先统一编码成空间特征再在一个大网络里同时完成对当前场景的理解、对未来演变的预测和对驾驶行为的决策。全局信息在每一层都能互相影响不再有“部门墙”。你可以把它想象成开会以前每个模块各派代表隔空喊话现在是所有代表坐进同一间会议室共享同一块白板。会议效率当然更高但黑盒风险也来了——没人能百分百解释最终决策到底由哪几笔特征主导。这个问题我后面单独聊。2. 这家车企世界模型的整体设计拆解2.1 输入侧多模态传感器怎么融合才不吃亏世界模型要吃进海量数据但传感器之间不是简单叠加。这家车企的量产车上摄像头负责高分辨率纹理信息毫米波雷达负责速度估计激光雷达负责精确距离。传感器时间同步是第一道坎。如果一帧图像和一帧雷达点云相差50毫秒高速场景下目标位置的偏差就能达到一米。所以车端有一套预处理流水线把各传感器数据按照同一时刻戳对齐再通过标定参数将雷达点云投影到图像坐标系做像素级匹配。模型输入分成三个分支。第一支是视觉特征用卷积网络或者视觉Transformer抽取图像横向和纵向的空间特征第二支是点云特征因为激光雷达点云稀疏用稀疏卷积比普通卷积高效得多第三支是车辆状态特征包括速度、方向盘转角、踏板开度、挡位。三个分支的特征在某个中间层拼到一起再喂给时空Transformer。滤波器层面我补充一个实测后的经验不能把所有原始数据都送进去预处理时一定要做自适应降噪。比如雨天的雷达反射噪点、大逆光下的过曝帧都需要提前过滤。不然模型容易学到“天气噪声”而不是“道路规律”。这家车企在人眼看不到的工程细节上花了不少功夫这类脏数据清洗其实比网络结构设计还影响最终效果。2.2 核心结构一个带记忆的时空Transformer拆开这家车企公布的技术细节最核心的模块是一个时空Transformer它不单处理当前时刻还把过去一叠加信号框进上下文窗口。所谓的“记忆”其实就是多帧特征序列。假设系统每秒处理15帧过去6秒就是90帧这90帧的视觉特征加上车辆状态会一起进入注意力机制。这样做的好处是模型能学到时间层面的动态规律。比如前方一辆车打了一个灯准备变道它的横向位置在时间轴上会有连续偏移。模型可以通过注意力权重把“过去3秒的横向偏移”和“当前变道意图”关联起来这在纯单帧检测里是完全做不到的。输出侧大致有三个头Head。场景重构头输出下一帧的鸟瞰视角BEV特征主要用于理解静态环境运动预测头输出周边每个动态物体的轨迹分布可能是多条带概率的轨迹决策头根据前两个头的特征结合自车状态输出轨迹点序列和驾驶命令。三头共享同一个骨干网络训练时可以联合优化推理时如果只想用其中一个功能也可以只取对应的头部署灵活性很好。2.3 为什么说模块化方案已经落后了传统模块化方案好比接力赛第一棒感知跑完把检测框交给第二棒预测第二棒算完轨迹再交给第三棒规划。每一棒都可能掉棒而且交接过程还会丢失信息。举个例子感知模型检测出前方有一个行人但它没法告诉规划模型“我对这个行人的置信度只有60%它可能突然加速”。预测模型只能收到一个框和类别并不知道原始图像里行人的姿态和遮挡情况。这种信息损耗到了错综复杂的城市路口会被无限放大。世界模型因为所有信息都在同一个特征空间里流转感知特征可以直接参与决策计算。它在训练时就会自己学到“当这个区域特征模糊时最好不要贸然加速”这样的潜规则。它更像一个整体系统而不是一堆零件的拼装。我并不是说模块化一无是处它的可调试性和安全性在很长一段时间里依然有意义。但从研发效率看模块化方案已经碰到天花板。这家车企当初敢把主架构切换到世界模型其实是拿量产稳定性做了一次大赌注至少从目前成果看赌赢了一半。2.4 输出侧的三维场景是理解一切的关键这家的世界模型一个很特别的输出是“三维场景表示”。不是简单的2D检测框而是包含深度信息和语义类别的体素或特征向量场。这个三维表示可以被下游任意模块消费。智能座舱想展示导航箭头它直接去取这个三维表示自动泊车想找到空车位也去同一份三维表示里查自动驾驶想判断可行驶区域依然用它。这种“一份表示、多处复用”的设计比单一功能模型要优雅很多。过去做HUD导航要单独建一个三维感知模块做泊车又要建一个雷达建图模块做着做着就变成重复造轮子。统一表示之后只要基础世界模型迭代一次所有下游能力一起提升。这也是他们舍得用重资源去搞世界模型的根本原因。3. 数据从哪里来训练世界模型的粮食战争3.1 未来帧能当标签但轨迹真值要靠自蒸馏训练世界模型需要为预测任务找监督数据。最直观的标签就是“未来帧”。行车记录仪天然保存了后视视角训练时把第t帧作为输入把第t1帧作为目标模型就能自监督学习。这相当于让模型不停地追在时间后面自己逼自己理解画面演化规律。但自动驾驶还需要运动轨迹真值。你不能只让模型知道下一帧画面变了还要让它具体知道“那辆蓝色小车会向左并线路径大概是这样”。这需要轨迹级别的标签。人工标注太贵逐帧画框能把人画吐。这家车企用了一种“自蒸馏”思路先用一个离线大模型对历史数据做检测、跟踪和轨迹生成产出高质量的伪标签再用这些伪标签训练世界模型。第一轮训练出的世界模型又可以回来辅助标注新数据形成一个螺旋上升的回路。这里有个非常现实的坑伪标签中有大量噪声尤其遮挡、截断、夜晚场景轨迹会跳变。如果直接当硬标签训模型会被噪声带偏。我看来他们的解决办法是给每个预测轨迹附带不确定性分数损失函数里根据不确定性做加权高噪声样本权重自动降低。这个思想在NLP里见过迁移到轨迹预测上也非常有效。3.2 真实路采数据和仿真数据该怎么混着喂训练数据来源分两大类。一类是真实车队回传。这家车企卖出去的车都有数据回传通道用户授权后脱敏数据传到云端。云端平台会做场景挖掘挑出难例复杂路口、近距离切桩、事故录像、暴雨天气、隧道光线突暗等等。这些难例能有效提升模型下半身但数据分布已经偏向复杂场景。另一类是仿真数据。他们用了神经辐射场和三维高斯泼溅技术重建了一些城市道路的数字孪生再在孪生世界里面生成极端交通流。比如让一个骑三轮车的老人突然从遮挡物后面冲出来这种场景在真实数据里可能一万英里都遇不到一次仿真里可以随随便便跑出一百个变体。比较关键的训练配比问题。我个人猜测他们最终的经验比例大约是七成真实数据、三成仿真数据。真实数据用来守基本盘保证语义分布贴近真实世界仿真数据用来补长尾帮模型建立安全条件反射。比例不能失衡仿真数据太多模型会把渲染瑕疵当真真实场景里反而失灵仿真太少又起不到补齐盲区的作用。这个7比3是动态调的不同阶段会变化。3.3 算力资源与训练策略烧钱烧出来的工程艺术训这种规模的世界模型不可能靠一两台服务器。业界能查到消息的说法是训练集群动辄上千卡训练时长数周甚至数月。电费、租金、人力成本都是天文数字。车企很少真的自建大规模智算中心更多是和云厂商签租约。训练过程中要随时监控loss还要防止训练崩溃工程师得半夜爬起来调参。为了避免无效烧钱一个很实用的策略是“先粗后细”。先用低分辨率、帧间隔稍大的数据做预训练让模型抓住时间演化和场景语义的主干再用高分辨率、连续帧数据做微调把细节和精度补上。这在语言大模型里叫两阶段训练视觉世界模型同样适用。此外他们还在训练中引入课程学习先让模型学简单场景比如高速路、空旷直道再逐步加难农村小路、老城区窄道、全拥堵工况。这套课程安排能显著减少训练发散的概率。真正跑过训练的人会明白稳定产出比瞬时指标好看更重要。3.4 有一套严格的路测验收流程模型练出来不等于能上车。我了解到他们有一个“场景库回归测试”机制。每次新模型上线前必须跑一遍上万条历史难例片段对比新老模型在同一个输入下的表现。只有安全合议指标不低于老模型才会进入封闭场地测试然后才是小规模用户内测。这个流程比单点指标重要得多。只看平均精度可能模型在普通场景变好却在某个高危场景偷偷变差。场景库回归能拦住这类回归缺陷。没有这个门槛再漂亮的世界模型也只是实验室玩具。4. 世界模型落地到量产车之后体验变化有多大4.1 城市驾驶从“教科书式保守”到“带点人味”上了世界模型之后城市导航辅助驾驶给人的第一印象是“不再那么机械”。传统方案遇到旁边车有挤压趋势系统经常先来一脚刹车等你反应过来又突然加速坐车的人会觉得这司机很“神经质”。根本原因是感知预测规划分开预测网络输出一个概率规划层只看最高概率轨迹不知道这个轨迹置信度其实很低于是做出急刹车。世界模型在无保护左转、汇入主路、绕行静态障碍这些复杂场景里表现得更像老司机。它能综合利用多帧时序信息判断旁边车未来的挤压趋势同时也评估自车加速通过的可能性。有车主反馈系统在快到拥堵尽头时能提前跟随前车缓慢蠕动而不是傻傻等到前车走远才大脚油跟上。这种体感差异是试驾时一坐进副驾就能感觉到的。当然世界模型不是一个满分司机。在一些没有清晰车道线的园区道路模型偶尔会犹豫方向盘小幅修正次数变多。这说明它还在用自己的方式理解非结构化场景这种路况可以靠后面持续收集数据慢慢改善。4.2 智能座舱语音助手突然“看懂了”世界座舱是这套模型给用户的另一个惊喜。传统语音助手只能理解“打开空调”“播放音乐”对车外世界一窍不通。接入世界模型之后助手能理解视觉画面和动态变化。例如车辆驶近一个视野被大货车遮挡的隧道口模型判断前方可能有拥堵和盲区语音会主动提醒“前方可见度较低建议提前减速。”AR导航也受益明显。过去导航箭头贴着路面信息绘制没有深度遇到迭层立交容易画错。现在世界模型输出带深度信息的车道级场景AR箭头可以牢牢“钉”在真实车道上转弯提示人车合一。这个细节看着不大但每天在城市里跑可以减少走错路概率。另外自动泊车可以一次进库。模型理解周围障碍物和车位的三维结构以及相邻车的车门是否会突然打开。它看起来只是个泊车实际包含了动态预测。这种能力是过去靠超声波雷达加规则方案很难做出来的。4.3 数据飞轮终于真正转了起来量产车的真实数据回传构成了世界模型持续进化的燃料。销量越大跑在路上的车越多收集到分布外的场景就越多。云端训练好新模型后通过OTA把参数推送到车端车端下次遇到类似场景就能表现更好成功后又会促进销量。这是一个正循环。但飞轮也不是自动转好的。如果只收集高难场景模型在小城市普通道路上可能会因为缺乏日常数据而退步。他们特别设计了数据分层采样不同城市、不同道路等级、不同天气光照都要按比例抽取。这种“数据多元化”管理比一味追求数据量更重要。我见过太多团队只盯着多少TB数据结果模型上线后在下载量表里找不到一种气候。4.4 用户口碑与争议什么人在夸什么人在骂从各方反馈来看喜欢驾驶科技的用户普遍很兴奋觉得这车“懂人”。保守型用户会抱怨智能驾驶有时候显得“激进”比如面对加塞车辆不是第一时间让出空间而是尝试贴着前车保持位置。其实是系统判断对方只是压线试探没有真正要切进来。但坐在座舱里的乘客不了解这个逻辑会觉得吓人。所以这家车企在系统设置里提供了“舒适”“标准”“激进”三档驾驶风格。即使调成舒适部分执行动作还是比老款更果断。这在新老车主之间形成一些讨论。我的看法是任何更强的AI系统都会有一段磨合期关键看厂商能不能快速根据数据修正策略而不是闭门造车。至少从OTA频率看他们的迭代速度比传统车企快了一个时代。5. 常见问题、批评与给自研团队的避坑指南5.1 端到端黑盒和安全性如何共存世界模型最大的软肋是“黑盒可解释性”。传统模块化感知到预测到规划每一层可以输出中间结果出问题时工程师可以定位是感知漏检还是预测漂移。端到端大网络就像一个黑箱你只知道输入传感器数据、输出方向盘转角但说不清是哪一层的哪一个特征导致了错误决策。对自动驾驶这种安全攸关系统来说这是很大的政策与工程挑战。这家车企的做法是混合架构世界模型负责驾驶决策但模型出口后面挂了一道“规则安全锁”。安全锁会校验最终轨迹是否违反交通规则底线比如是否越过实线、是否太接近行人。如果模型生成的轨迹超出安全边界安全锁会切换到保守策略。相当于用白盒规则给黑盒模型兜底。我觉得这是当前阶段最务实的解法纯端到端不加任何安全约束就量产是对用户不负责任。但这仍然没法解决所有问题一些风险不是简单规则能定义的比如“旁边大货车可能侧翻”。模型输出没违反规则但隐含了风险安全锁也拦不住。因此还需要继续提升模型自身对危险场景的敏感性以及加装更多传感器冗余。5.2 数据分布偏见所有世界模型都会踩的坑训练数据来自车队但实际路上跑的车辆分布并不均匀。一个极端的例子某品牌在某一线城市销量巨大当地复杂环路训练得很棒但在三四线城市道路画线模糊驾驶员习惯也和一线城市完全不同模型很可能在水土不服的地段表现得像新手。这不是算法问题而是数据覆盖度问题。解决手段无非两条一是主动引导车主收集特定场景数据比如开新车型、去新城市跑几圈二是购买第三方路采数据补充分布。两者都要高强度投入而且还涉及数据确权问题。很多团队前期完全忽略数据分布训练时只追整体准时率最后换来一堆分布外事故报告。听过太多血泪教训我只能反复强调数据集一定要做地域、天气、时段、道路层级四维分层。5.3 算力边界云端模型和车端模型的差异世界模型参数量很大根本不可能完整放到车端实时运行。现有量产方案基本是“云端大模型车端小模型”的组合。云端大模型跑在海量数据上做离线训练和场景挖掘车端小模型只保留少量关键子模块配合规则和决策树运行。这样既能享受大数据训出的常识又能满足车规级延迟。但这会引入一个新问题当车端小模型遇到从未见过的场景时云端的理解帮不上忙因为它不在线。这就像你出门带着一个三岁小孩遇到问题只能靠他现场反应背后的大脑再聪明也来不及指挥。为了保证安全车端必须有一套保守的降级逻辑一旦不确定度太高就选择停车或退出。否则断网时会非常危险。我看到有用户反馈说。网络波动时某些功能会自动退出但退出提示不够醒目这是值得优化的交互问题。5.4 给想自研世界模型的团队几条实操建议最后给同行几条掏心窝的避坑建议。第一别一上来就追求万亿参数先用一个小规模模型把数据闭环跑通确认数据质量和供应链都稳定再扩大规模。第二要有明确的不确定性指标。模型必须学会表达“我不知道”而不是对不明物体硬预测。自动驾驶里“谨慎停车”永远比“胡说八道冲过去”安全。第三批量做模型更新时一定要跑长尾场景回归把新旧模型放同一条难例集上PK差一个百分点都不能上线。第四与法规和保险团队保持同步给产品定位留足安全冗余宣传时切忌夸大。这些建议听上去不够“性感”但真正能救命的往往是流程和底线而不是模型参数量。结尾我个人在这两年拆解过不少智能驾驶技术方案看多了会觉得行业有点浮躁什么想法都要蹭大模型的名字。但世界模型这个方向确实解决了传统自动驾驶模块化方案的核心痛点也打开了座舱体验的新想象空间。这家车企敢在量产车上把世界模型当成主架构同时保留规则安全锁算是既有野心也有敬畏。如果非要挑一个最期待的点我希望下一阶段能把“世界模型主动交互”做出来。现在的系统更多是“司机助理”未来应该能像副驾老手一样问一句“前面堵车我建议绕行辅路要走吗”或者“右后方大车离太近要不要我先踩一点速度。”这种基于场景理解和语言生成的交互才是世界模型真正价值爆发的时刻。到那时候我还会再把这项技术拎出来重新拆一轮。