关于某头部电动车企的自动驾驶系统最近又一次被推上风口浪尖。消息源头是它掌门人在一次访谈里讲了几句关于“下一步方向”的话原话不长但信息量很大。团队里做感知算法的小朋友把截图转给我说这次的口吻和以前不一样不是画饼也不像给投资人讲故事。我完整看完之后也确实有这种感觉折腾这么多年终于有一家头部公司把“下一步”讲成了一个可以落地的技术闭环。这篇文章不是替谁做解读而是结合我自己在自动驾驶领域从工程到产品的一些实操经验聊聊这个“下一步方向”到底是什么它为什么会成为行业风向标以及对我们这些做AI落地、做智能硬件、做数据工程的人有什么可借鉴的地方。不管你是自动驾驶从业者、产品经理还是只关心无人驾驶什么时候真正能上路的人这篇都能帮你在脑子里画出一张清晰的地图。1. 一个信号从规则代码到数据驱动的彻底转身1.1 为什么大家盯住这条消息过去几年自动驾驶圈子里吵得最凶的几个问题其实一直没有一个公认答案激光雷达和纯视觉谁才是终局高精地图还能不能依赖规则驱动和数据驱动到底谁更靠谱每一家头部公司都宣称自己路线正确但绝大多数发言听起来都是“我押注我自己的选择”很少有人在公开场合把整条技术链路重新想清楚。但这次不一样。掌门人等的表态核心不是“我们新增了某个传感器”也不是“我们又优化了多少个规则”而是把整个系统的发展逻辑从“工程师写代码”换成了“模型自己找规律”。这句话如果只是说起来容易那不值得激动。真正值得关注的是它背后的感知架构、算力规划、数据采集方式、商业化节奏全部都在为这个转变服务。也就是说这不是一次营销话术升级而是一次路线收敛。我之所以说这是“信号”是因为每一个在自动驾驶赛道上做过实际产品的人都能感受到规则驱动方案的天花板有多低。而这家公司过去被骂得最惨的纯视觉路线恰恰在这次转型里变成了最大的资产。很多人没有意识到没有传感器冗余压力没有高精地图依赖反而让它可以更干脆地投入到端到端模型里去。这种“包袱少所以敢转”的处境不是每一家都有的。1.2 早期方案的天花板在哪讲清楚这次转变的意义得先回顾一下传统方案到底是什么样。早期的自动驾驶系统包括这家公司在前几个大版本里做的事情本质上是一套“感知—预测—规划—控制”的分模块流水线。感知模块负责识别车道线、车辆、行人、交通标志预测模块负责推测周围目标几秒后可能的位置规划模块再根据预测结果计算出一条安全轨迹最后交给控制模块去执行转向和加减速。听起来逻辑通顺但实际落地时每个模块都需要工程师手写大量规则。举个例子遇到红灯怎么办要写“在停止线前停车”如果前面有大车挡住视线看不清红绿灯怎么办又要写“跟随前车通过但不能闯红灯”如果路口有交警在指挥手势和红绿灯冲突怎么办还得再写一条“交警优先”。每处理一个新的边缘场景就要往规则库里补一条对应的逻辑。这种方案在封闭园区、高速匝道这些场景足够用但一旦放到复杂城市道路问题就会爆炸。因为你根本不可能穷举所有情况。洒水车喷雾导致车道线消失施工桩桶临时改道电动车突然从盲区窜出来雨天路面积水反光……每一条都像一个组合数问题里的新变量。规则之间还会互相打架补了新规则旧规则在另一个场景里就失灵了。我记得有一次测试因为一个“左转待转”规则写得太激进系统在无保护左转时差点把对向直行的公交车误判成静止障碍。这种问题靠堆规则根本解不完。1.3 转向数据驱动意味着什么数据驱动不是“用AI辅助一下感知”而是把驾驶这件事本身的表达方式换掉。以前是程序员定义清楚“什么是车辆、什么是行人、什么是道路”然后让规则去处理这些定义好的对象。现在是只给模型原始摄像头画面和对应的方向盘、刹车、油门操作让模型自己去发现画面和操作之间的规律。这个转变听起来只是一个技术路线选择但实际上它会牵动整个公司的组织方式。以前最核心的部门是“规则团队”需要大量从数学、控制理论背景的工程师现在最核心的部门变成了“数据团队”和“训练平台团队”需要算法工程师设计网络结构需要数据工程师搞定海量视频的采集与标注还需要ML工程团队把模型迭代周期压缩到天级别。团队里谁说了算研发预算往哪花全都会跟着变。更关键的是它意味着系统的能力上限不再由工程师的经验决定而由数据的数量和质量决定。这条路想走通必须同时解决三件事一是有足够覆盖真实路况的驾驶数据二是有足够强的算力去训练大模型三是有足够高效的迭代闭环去不断修正错误。这三件事恰好就是下面要拆解的“下一步方向”的三块拼图。2. 破解“下一步方向”的三块拼图2.1 端到端网络让模型自己学习驾驶先讲最核心的“端到端”。所谓端到端最常见的定义是输入摄像头采集到的原始图像输出方向盘转角、刹车和油门踏板控制信号中间不经过人类手写的模块。它和传统模块化方案最大的区别不只是“少了几个模块”而是整个系统不再需要人类把“感知结果”转成“结构化障碍物列表”再转成“轨迹规划输入”。模型自己决定该看画面的哪个位置该怎么把画面映射成操作。我用一个生活化的类比来解释传统方案像教一个孩子背交通规则手册。你告诉他“红灯停、绿灯行、行人过马路要让”他确实可以通过考试但遇到一个没见过的路口他不知道该怎么组合这些规则。端到端方案更像是让这个孩子坐在一个老司机旁边开了几千个小时车。他不需要背出每一条规则但他看多了老司机面对各种路况的操作之后自己就会产生一种“感觉”知道这种情况下该减速那种情况下该变道。当然这种“感觉”在工程上不是玄学它是模型从海量带标签数据中统计出来的条件概率分布。标签是什么不是人手工标注的车道线而是人类驾驶员在对应场景下的真实操作。这也是为什么很多公司做端到端第一个遇到的困难就是“人类驾驶数据不够用”。你需要几百万甚至几千万个真实驾驶片段还要包含足够的夜间、雨雪、施工、事故等场景。采集这么多数据靠自建车队跑是跑不出来的这也是为什么“影子模式”在后面的拼图里会变得极其重要。2.2 世界模型让车学会“想象”路况第二块拼图比端到端更前沿但在圈内讨论热度极高世界模型。它的目标不是直接控制车辆而是让模型在内部建立一个对周围环境的动态预测。你可以把它理解成一个“驾驶环境的内部模拟器”。即使某个行人被路边停着的卡车挡住完全没出现在摄像头画面里模型也能根据周边的动态线索推断“可能有人会从车头前走出来”。这和人眼驾驶的经验是一样的。老司机经过路边停满车的路段即使没看到人也会下意识把脚放到刹车上因为他知道盲区里可能有人。传统模块化系统很难做这件事因为感知模块只能输出“画面里没有检测到行人”它没法凭空多出一个“未观测到的目标”。而世界模型可以用概率的方式表示“这个位置存在行人的概率是0.7”然后把这种不确定性直接传递到规划层。从训练方式上看世界模型和语言模型有一个惊人的相似点。语言模型做的事情是“预测下一个词”把前文当成条件生成后续文本。世界模型则是“预测接下来的视觉场景”输入前几帧图像让模型生成下一帧可能出现的画面然后用真实下一帧作为监督信号去修正。通过这种大量自监督学习模型能够逐渐学会场景中物体运动的物理规律比如车辆不会瞬间消失、行人的移动速度有上限、碰撞发生后轨迹会发生突变。这些规律不是人写进去的而是模型从视频数据里学出来的。有了世界模型端到端系统就不只是“看菜下饭”了它可以提前“脑补”多种可能性再做规划。这是自动驾驶从“被动反应”走向“主动预判”的关键一步。我甚至觉得这一步比把模型参数翻一倍更重要因为真正的路况难题不是你能多精确地识别已经出现的东西而是你能不能在它还没出现前就做好准备。2.3 大规模仿真与影子模式低成本试错纯数据驱动最怕什么怕训练数据里缺少极端事故场景。绝大多数驾驶员一辈子也遇不到几次“前车货物意外脱落”“对向车道车辆漂移闯入”“行人从绿化带突然冲出来”这些情况。你要是等真实路测去撞见这些场景概率低到可以忽略。所以必须用仿真补上这一环。但这里有个认知误区仿真不是搞一个“游戏画面”就行。高价值的自动驾驶仿真核心是逼真和对抗。逼真指图像质量和物理逻辑要接近真实不能出现“明明车在转弯影子还在原地”这种低级穿帮对抗指仿真平台要主动生成那些危险的、罕见的、能测试系统极限的交通流组合。用行话说就是专门去造“鬼探头”“逆光正面障碍”“相邻车道连环事故”这些场景看系统会不会做出合理反应。再说影子模式这个概念现在已经被用滥了但它的威力依然被严重低估。影子模式的逻辑很简单车辆在实际行驶中最新版本的模型在后台并运行但不直接控制车辆。真正开车的是人类司机。系统会把模型的判断结果和人类司机的实际操作进行实时对比如果模型认为“该刹车”而司机没刹或者模型认为“该左转”而司机向右打了方向盘系统就会把这个片段标记为高价值数据回传到云端。这套机制妙在它把每一辆在路上跑的车都变成了数据采集器。你不用专门雇成千上万个安全员去路测只要用户同意数据回传每台车每天行驶一小时就意味着一个免费的真实驾驶样本。等到系统更新后这些数据又会进入训练集周而复始。影子模式把“训练—测试—数据回收—再训练”的循环成本压缩到了极致这也是为什么它会被视为下一次迭代的发动机。这三块拼图不是三个独立项目而是一套相互咬合的系统。端到端网络提供驾驶能力世界模型提供预测能力仿真和影子模式提供训练素材和验证手段。任何单点突破都撑不起一套可落地的高级别自动驾驶只有这三块拼图同时转起来才能形成真正的飞轮效应。3. 走向无人驾驶之前绕不开的工程决战3.1 数据闭环从“看多远”到“想多全”聊完方向更值得深入的是怎么落地。只要是做过大模型或者大规模机器学习系统的人都知道一句话模型是水数据是水源。数据闭环能不能跑通直接决定“下一步方向”是停留在论文里还是变成真正的产品。一个完整的数据闭环通常可以拆成五个环节采集、清洗、标注、训练、部署反馈。说起来简单但每一个环节都藏着不少坑。先说采集不是把所有视频都扔进车里的硬盘就算采集完了。原始视频数据量太庞大如果全部回传带宽会被瞬间打爆。实际工程上会在车端做一套初筛只挑选那些“模型判断置信度低”“与人类司机操作差异大”“触发安全兜底策略”的片段。这些片段叫做“难例”它们才是对训练最有价值的数据。然后是清洗和标注。很多人以为自动标注能解决一切但实际中极端场景的标注准确率仍然完全依赖人工质检。你标注一帧“施工桩桶”很容易但标注“施工桩桶后面突然探出一个人头”就需要联合判断。这种场景如果用自动标注很容易把人和桩桶合成同一个框。更高效的做法是主动学习策略先让现有模型在未标注数据上跑一遍只挑出它“拿不准”的片段交给人工标注。这样做的好处是你只用标注10%的数据就能覆盖90%以上的长尾场景。我见过不少团队一上来就追求“全量标注”浪费了巨额预算效果却没有明显提升。数据闭环的意义不只是提高单次训练的精度它让整个系统的能力随着行驶里程增加而持续增长。今天遇到一个特殊场景模型没处理好回传、标注、重训下周这个场景就不会再犯同样的错误。看得多了想得全了能力上限才会上得去。这也是为什么我会说判断一个团队是不是真想做自动驾驶标准不是它有多少台测试车而是它有没有建立一条能持续转起来的数据飞轮。3.2 算力基建车端芯片与云端训练数据和模型都很重要但没有算力都是纸上谈兵。这次方向之所以被大家关注也恰恰是因为它的模型规模已经不是传统车辆芯片能轻松承载的了。车端要实时运行超大模型就必须在有限功耗和散热条件下把每秒处理的帧数和推理延迟同时做到极致。行业内一个大致不便宜的衡量标准是从摄像头取帧到最终输出控制信号端到端延迟要控制在几十毫秒以内。超过这个范围车辆已经驶过一段距离控制效果会大打折扣。很多人以为买几颗高性能芯片拼接在一起就可以了实际上在车端做多芯片协同的难度远高于服务器端。车辆运行环境温度范围宽振动大供电波动对芯片的稳定性和寿命都有严格要求。而且大模型的内存访问带宽会成为主要瓶颈不是算力TOPS数字堆上去就万事大吉。我见过某些团队买的芯片规格很漂亮但跑起来实际帧率只有标称值的三分之一因为数据搬运的时间比计算还长。这些都是工程细节却最容易在早期被忽略。云端训练侧的问题也同样现实。训练一个端到端驾驶模型不是像训练一个图像分类模型那样用几张显卡就能跑完。它需要大规模分布式训练集群需要海量视频数据反复进行多epoch训练。很多团队囤了很大的数据量但没有计算资源去充分训练最后模型效果还不如小数据集精心调出来的模型。更隐蔽的瓶颈是网络IO。训练集群内部的数据读取速度、数据预处理管线、断点续训机制都会影响整体训练效率。有时候GPU利用率只有30%剩下的时间都在等数据。解决这个问题需要把视频数据做压缩存储、特征筛选、预提取而不是一股脑把原始视频丢给训练脚本。一句话算力基建决定了模型迭代的上限。没有强大的车端推理能力和云端训练能力所谓“端到端”“世界模型”就会变成永远跑不动的demo。3.3 安全策略保守与激进的平衡做自动驾驶的人最绕不开的一个词就是“安全”。但很多人对安全的理解过于简单只要系统足够聪明就不会出事。实际上自动驾驶的安全性不是追求“零事故”的绝对安全而是在同等行驶条件下比人类驾驶员更稳定、更有预测性、更少失误。人类驾驶员的平均事故率摆在那里自动驾驶只要能大幅度优于那个数字就具备了大规模部署的理由。但公众接受度不会管这个。一次恶劣事故造成的社会影响可能超过一万次安全行驶累积的信任。所以工程上必须做多层次的兜底。即便主模型已经具备很强的驾驶能力系统仍然需要一层独立的“安全监控模型”专门负责判断“我现在是不是处于未知场景”。一旦识别到置信度不足就主动减速、靠边停车或请求远程协助。这个安全监控模型不负责判断“应该左转还是右转”它只负责判断“我还能不能继续开”判断逻辑越简单越可靠。这里有一个我特别想提醒的坑很多人把“兜底规则”当成万能保险觉得主模型是黑箱没关系反正有规则在。实际恰恰相反如果主模型和兜底规则各写各的两者之间会产生大量冲突。比如主模型认为前方障碍可以通过而兜底规则检测到“前方有物体”就强制制动结果车辆在高架桥上突然刹停反而制造了追尾风险。比较好的平衡方案是让安全模型和主模型在训练阶段就共享一部分底层感知特征在推理阶段各自保持独立同时通过仿真预先验证所有“安全模型介入”的边界条件。这里面的细节非常多但总的原则只有一个系统可以激进地学习但运行时必须保守地兜底。4. 从技术路线看商业模式的隐性变化4.1 订阅制与硬件预埋大多数人聊自动驾驶注意力都放在技术本身但“下一步方向”更值得琢磨的往往是它背后的商业模式转身。当系统变成一个从数据中持续进化的软件它就不再是出厂那一刻固化的功能而是可以不断升级的软件服务。这家公司早几年就把自动驾驶功能做成了订阅服务车主买车时先预埋硬件后续是否开通、开通多久完全通过软件控制。这一步棋一旦和“端到端数据闭环”绑定在一起威力会变得很大。消费者不需要为了新功能换一台车只要订阅继续系统每隔一段时间就会因为数据更新而变得更聪明。反过来对厂商来说卖车不再是一锤子买卖而是一个持续产生现金流的入口。更重要的是硬件预埋意味着车队规模越大可采集数据的面就越广数据飞轮转得越快。这个“先卖硬件、再卖软件、然后用数据反哺软件”的循环一旦跑起来后发玩家几乎无法追赶。很多车企也想模仿订阅制但卡在硬件预埋上。如果一辆车没有预埋足够算力的芯片后续软件再强也带不动。预埋芯片要增加单车成本这在竞争激烈的市场里是很难做的决定。只有想清楚了远期商业模式才敢在前期牺牲单车毛利。所以判断一家公司是不是真把道路想明白了看它敢不敢在所有量产车上预埋统一的高算力平台是一个很直观的信号。4.2 共享出行与车队化运营私家车每天平均开两小时而共享出行车队里的车一天可以跑二十个小时。同样一套自动驾驶系统放在私家车上它的数据贡献速度远远比不上放在运营车队里。这也是我一直认为自动驾驶真正成熟的商业闭环不是帮私家车主省事而是替代人力司机、把出行成本压缩到极致。当我们把“下一步方向”和Robotaxi车队联系在一起很多被忽视的技术需求就浮出水面了。车队化运营需要云端调度系统需要远程监控与接管机制需要自动充电和清洁的场站配套还需要处理乘客上下车、临时停车等待、异常物品遗留之类的问题。自动驾驶系统再聪明它也只是车队大脑里的一个核心模块而不是全部。行业里很多团队只训练“会开车的模型”却忽略了“运营车队”这件事本身就是极其复杂的系统工程。我的看法是私人场景的自动驾驶会先一步商业化但真正的规模化爆发点一定是在共享出行领域。因为只有在那里单车高昂的硬件成本可以被全天候运营摊薄数据采集速度也最快。换句话说谁先把手上的全自动驾驶系统从“技术demo”变成“运营工具”谁就拿到了下一张船票。4.3 数据资产成为新壁垒讲到最后所有的技术路线、商业模式最终都会指向同一个词数据资产。但这里说的数据不是存在硬盘里的一段段视频素材而是经过闭环处理、清洗标注、可训练迭代的高质量数据集。一条车道的视频如果不包含车流变化、光照变化和障碍物变化它的价值接近于零。只有真正覆盖长尾场景、格式统一、标签可靠的数据才是壁垒。传统汽车产业讲的是发动机排量、底盘调校、供应链管理。自动驾驶时代讲的是“我拥有多少小时的高质量城市驾驶数据”“我的难例库覆盖了多少种罕见场景”“我的标注流水线处理一帧数据要多少钱”。这些会直接变成模型能力的上限。算法论文可以公开模型结构可以仿制但数据资产是时间和车辆的积累砸钱可以加速一部分却无法一步登天。这也是为什么这次“下一步方向”听上去会这么有分量。因为当一个团队决定把主要精力放到端到端与世界模型上时它实际上是在承认从今往后最宝贵的东西不再是工程师的手机架而是由每一辆真实行驶车辆贡献出来的数据流。这个认知一旦建立整个行业评估公司价值的方式也要跟着变了。5. 我的实操观察与避坑心得5.1 别被营销名词带偏判定技术成熟度的线索这几年自动驾驶领域的发布会、Demo视频、技术博客特别多营销名词一个比一个高级。作为从业者我建议大家养成一套自己的“技术成熟度判断框架”别被一个看起来很酷的视频带偏。我自己主要看三件事。第一系统是不是真正端到端输出控制信号还是只在感知环节用了神经网络、其他模块还在靠规则拼接。如果是后者那只是在“AI换皮”能力上限没有根本变化。第二团队敢不敢公开数据闭环的关键指标比如难例回传比例、训练集更新频率、模型在不同天气下的表现对比。如果这些数据遮遮掩掩大概率还没有形成稳定飞轮。第三有没有跑过长时间影子模式并公开分析报告。没有影子模式支撑的自动驾驶宣称无异于实验室里的“考场优等生”。只要你用这套框架去筛就会发现很多所谓“突破性进展”只是某个模块的精度提升离“下一步方向”还很远。真正值得关注的永远是系统整体闭环的成熟度而不是单个指标的数字大小。5.2 团队做自动驾驶时最容易踩的三个坑结合我接触过的团队我总结了三个最常见也最隐蔽的坑每一个都是拿真金白银换来的教训。第一个坑是过度追求模型参数规模。很多人觉得大模型一定更智能于是不断堆参数结果模型在训练集上表现完美一到真实路况就手足无措。自动驾驶不是通用聊天它要面临的是极度不平衡的场景分布需要在无数个角落都保持稳健。正确做法应该是在场景覆盖率和模型参数量之间做权衡优先保证长尾场景不崩。第二个坑是忽视corner case的主动采集。真实路测中遇到一次极端情况的概率很低如果只靠随机路测去撞永远凑不齐足够的难例。我看过一些团队跑了上万公里数据量很大但里面绝大多数都是空旷通畅的道路场景真正有价值的复杂城市、恶劣天气、异常交通流数据占比不足百分之一。这种数据养出来的模型再训练也只是“高速路专用司机”。要有意识去安排团队在特定时段、特定路段做定向采集比如暴雨后的老城区、大型集散市场周边、学校上下学时段这些场景才是模型进化的关键。第三个坑是评价指标单一化。很多团队以“每多少公里接管一次”为唯一指标却忽视了另外几个重要方面模型对未知场景的预测不确定性、安全干预触发率、场景覆盖率、误刹车频率等。只看接管里程会让研发团队把大量精力用到优化平均路况上反而忽略了那些一年也遇不到一次、但一遇到就可能酿成大祸的极端场景。我建议建立一套多维评估体系至少包含安全、舒适、可用性、可解释性四个维度每个维度再往下拆意见指标持续跟踪。5.3 接下来几个月值得重点关注的验证节点方向是不是真的“想明白了”不能只看发布会接下来几个月有几个具体节点值得持续跟踪。第一看它是否开始向更多普通用户推送无安全员干预的试验版本。如果还是只在一小撮内部测试员手里跑说明数据闭环和影子模式还没达到规模化的阈值。第二看有没有发布基于世界模型的离线评测报告。世界模型听起来很美但效果如何需要像大语言模型评测基准那样拿出一套可复现的评估方法。第三看无人车队运营区域的扩张速度。一个地方跑通可能靠运气多个不同城市跑通才说明系统具备泛化能力。第四看数据回传策略是不是透明。如果不敢公开用户车辆回传数据的统计口径和处理方式后续的合规信任问题会变成很大障碍。这些节点比一次直播或者一条短视频要有说服力得多。抓住这些信号你就能判断出所谓“下一步方向”到底是已经动工的生产线还是依然停在墙上的设计图。我自己的体会是判断一个自动驾驶项目是不是真正进入下一阶段不要看PPT也不要只看某个单独的技术指标而是看它是否愿意把最难的数据闭环摊开给你看。这件事没有捷径跑过的每一公里、标注过的每一帧、踩过的每一个坑最后都会变成系统的上限。做这个方向的朋友与其焦虑别人的进展不如先把手上的难例数据管好把影子模式跑起来。这一步想明白了后面反而会顺很多。 
长河君 · 2026/10/23 3:23:22 · 阅读 1.2k 自动驾驶的下一步：端到端网络、世界模型与数据闭环
关于某头部电动车企的自动驾驶系统最近又一次被推上风口浪尖。消息源头是它掌门人在一次访谈里讲了几句关于“下一步方向”的话原话不长但信息量很大。团队里做感知算法的小朋友把截图转给我说这次的口吻和以前不一样不是画饼也不像给投资人讲故事。我完整看完之后也确实有这种感觉折腾这么多年终于有一家头部公司把“下一步”讲成了一个可以落地的技术闭环。这篇文章不是替谁做解读而是结合我自己在自动驾驶领域从工程到产品的一些实操经验聊聊这个“下一步方向”到底是什么它为什么会成为行业风向标以及对我们这些做AI落地、做智能硬件、做数据工程的人有什么可借鉴的地方。不管你是自动驾驶从业者、产品经理还是只关心无人驾驶什么时候真正能上路的人这篇都能帮你在脑子里画出一张清晰的地图。1. 一个信号从规则代码到数据驱动的彻底转身1.1 为什么大家盯住这条消息过去几年自动驾驶圈子里吵得最凶的几个问题其实一直没有一个公认答案激光雷达和纯视觉谁才是终局高精地图还能不能依赖规则驱动和数据驱动到底谁更靠谱每一家头部公司都宣称自己路线正确但绝大多数发言听起来都是“我押注我自己的选择”很少有人在公开场合把整条技术链路重新想清楚。但这次不一样。掌门人等的表态核心不是“我们新增了某个传感器”也不是“我们又优化了多少个规则”而是把整个系统的发展逻辑从“工程师写代码”换成了“模型自己找规律”。这句话如果只是说起来容易那不值得激动。真正值得关注的是它背后的感知架构、算力规划、数据采集方式、商业化节奏全部都在为这个转变服务。也就是说这不是一次营销话术升级而是一次路线收敛。我之所以说这是“信号”是因为每一个在自动驾驶赛道上做过实际产品的人都能感受到规则驱动方案的天花板有多低。而这家公司过去被骂得最惨的纯视觉路线恰恰在这次转型里变成了最大的资产。很多人没有意识到没有传感器冗余压力没有高精地图依赖反而让它可以更干脆地投入到端到端模型里去。这种“包袱少所以敢转”的处境不是每一家都有的。1.2 早期方案的天花板在哪讲清楚这次转变的意义得先回顾一下传统方案到底是什么样。早期的自动驾驶系统包括这家公司在前几个大版本里做的事情本质上是一套“感知—预测—规划—控制”的分模块流水线。感知模块负责识别车道线、车辆、行人、交通标志预测模块负责推测周围目标几秒后可能的位置规划模块再根据预测结果计算出一条安全轨迹最后交给控制模块去执行转向和加减速。听起来逻辑通顺但实际落地时每个模块都需要工程师手写大量规则。举个例子遇到红灯怎么办要写“在停止线前停车”如果前面有大车挡住视线看不清红绿灯怎么办又要写“跟随前车通过但不能闯红灯”如果路口有交警在指挥手势和红绿灯冲突怎么办还得再写一条“交警优先”。每处理一个新的边缘场景就要往规则库里补一条对应的逻辑。这种方案在封闭园区、高速匝道这些场景足够用但一旦放到复杂城市道路问题就会爆炸。因为你根本不可能穷举所有情况。洒水车喷雾导致车道线消失施工桩桶临时改道电动车突然从盲区窜出来雨天路面积水反光……每一条都像一个组合数问题里的新变量。规则之间还会互相打架补了新规则旧规则在另一个场景里就失灵了。我记得有一次测试因为一个“左转待转”规则写得太激进系统在无保护左转时差点把对向直行的公交车误判成静止障碍。这种问题靠堆规则根本解不完。1.3 转向数据驱动意味着什么数据驱动不是“用AI辅助一下感知”而是把驾驶这件事本身的表达方式换掉。以前是程序员定义清楚“什么是车辆、什么是行人、什么是道路”然后让规则去处理这些定义好的对象。现在是只给模型原始摄像头画面和对应的方向盘、刹车、油门操作让模型自己去发现画面和操作之间的规律。这个转变听起来只是一个技术路线选择但实际上它会牵动整个公司的组织方式。以前最核心的部门是“规则团队”需要大量从数学、控制理论背景的工程师现在最核心的部门变成了“数据团队”和“训练平台团队”需要算法工程师设计网络结构需要数据工程师搞定海量视频的采集与标注还需要ML工程团队把模型迭代周期压缩到天级别。团队里谁说了算研发预算往哪花全都会跟着变。更关键的是它意味着系统的能力上限不再由工程师的经验决定而由数据的数量和质量决定。这条路想走通必须同时解决三件事一是有足够覆盖真实路况的驾驶数据二是有足够强的算力去训练大模型三是有足够高效的迭代闭环去不断修正错误。这三件事恰好就是下面要拆解的“下一步方向”的三块拼图。2. 破解“下一步方向”的三块拼图2.1 端到端网络让模型自己学习驾驶先讲最核心的“端到端”。所谓端到端最常见的定义是输入摄像头采集到的原始图像输出方向盘转角、刹车和油门踏板控制信号中间不经过人类手写的模块。它和传统模块化方案最大的区别不只是“少了几个模块”而是整个系统不再需要人类把“感知结果”转成“结构化障碍物列表”再转成“轨迹规划输入”。模型自己决定该看画面的哪个位置该怎么把画面映射成操作。我用一个生活化的类比来解释传统方案像教一个孩子背交通规则手册。你告诉他“红灯停、绿灯行、行人过马路要让”他确实可以通过考试但遇到一个没见过的路口他不知道该怎么组合这些规则。端到端方案更像是让这个孩子坐在一个老司机旁边开了几千个小时车。他不需要背出每一条规则但他看多了老司机面对各种路况的操作之后自己就会产生一种“感觉”知道这种情况下该减速那种情况下该变道。当然这种“感觉”在工程上不是玄学它是模型从海量带标签数据中统计出来的条件概率分布。标签是什么不是人手工标注的车道线而是人类驾驶员在对应场景下的真实操作。这也是为什么很多公司做端到端第一个遇到的困难就是“人类驾驶数据不够用”。你需要几百万甚至几千万个真实驾驶片段还要包含足够的夜间、雨雪、施工、事故等场景。采集这么多数据靠自建车队跑是跑不出来的这也是为什么“影子模式”在后面的拼图里会变得极其重要。2.2 世界模型让车学会“想象”路况第二块拼图比端到端更前沿但在圈内讨论热度极高世界模型。它的目标不是直接控制车辆而是让模型在内部建立一个对周围环境的动态预测。你可以把它理解成一个“驾驶环境的内部模拟器”。即使某个行人被路边停着的卡车挡住完全没出现在摄像头画面里模型也能根据周边的动态线索推断“可能有人会从车头前走出来”。这和人眼驾驶的经验是一样的。老司机经过路边停满车的路段即使没看到人也会下意识把脚放到刹车上因为他知道盲区里可能有人。传统模块化系统很难做这件事因为感知模块只能输出“画面里没有检测到行人”它没法凭空多出一个“未观测到的目标”。而世界模型可以用概率的方式表示“这个位置存在行人的概率是0.7”然后把这种不确定性直接传递到规划层。从训练方式上看世界模型和语言模型有一个惊人的相似点。语言模型做的事情是“预测下一个词”把前文当成条件生成后续文本。世界模型则是“预测接下来的视觉场景”输入前几帧图像让模型生成下一帧可能出现的画面然后用真实下一帧作为监督信号去修正。通过这种大量自监督学习模型能够逐渐学会场景中物体运动的物理规律比如车辆不会瞬间消失、行人的移动速度有上限、碰撞发生后轨迹会发生突变。这些规律不是人写进去的而是模型从视频数据里学出来的。有了世界模型端到端系统就不只是“看菜下饭”了它可以提前“脑补”多种可能性再做规划。这是自动驾驶从“被动反应”走向“主动预判”的关键一步。我甚至觉得这一步比把模型参数翻一倍更重要因为真正的路况难题不是你能多精确地识别已经出现的东西而是你能不能在它还没出现前就做好准备。2.3 大规模仿真与影子模式低成本试错纯数据驱动最怕什么怕训练数据里缺少极端事故场景。绝大多数驾驶员一辈子也遇不到几次“前车货物意外脱落”“对向车道车辆漂移闯入”“行人从绿化带突然冲出来”这些情况。你要是等真实路测去撞见这些场景概率低到可以忽略。所以必须用仿真补上这一环。但这里有个认知误区仿真不是搞一个“游戏画面”就行。高价值的自动驾驶仿真核心是逼真和对抗。逼真指图像质量和物理逻辑要接近真实不能出现“明明车在转弯影子还在原地”这种低级穿帮对抗指仿真平台要主动生成那些危险的、罕见的、能测试系统极限的交通流组合。用行话说就是专门去造“鬼探头”“逆光正面障碍”“相邻车道连环事故”这些场景看系统会不会做出合理反应。再说影子模式这个概念现在已经被用滥了但它的威力依然被严重低估。影子模式的逻辑很简单车辆在实际行驶中最新版本的模型在后台并运行但不直接控制车辆。真正开车的是人类司机。系统会把模型的判断结果和人类司机的实际操作进行实时对比如果模型认为“该刹车”而司机没刹或者模型认为“该左转”而司机向右打了方向盘系统就会把这个片段标记为高价值数据回传到云端。这套机制妙在它把每一辆在路上跑的车都变成了数据采集器。你不用专门雇成千上万个安全员去路测只要用户同意数据回传每台车每天行驶一小时就意味着一个免费的真实驾驶样本。等到系统更新后这些数据又会进入训练集周而复始。影子模式把“训练—测试—数据回收—再训练”的循环成本压缩到了极致这也是为什么它会被视为下一次迭代的发动机。这三块拼图不是三个独立项目而是一套相互咬合的系统。端到端网络提供驾驶能力世界模型提供预测能力仿真和影子模式提供训练素材和验证手段。任何单点突破都撑不起一套可落地的高级别自动驾驶只有这三块拼图同时转起来才能形成真正的飞轮效应。3. 走向无人驾驶之前绕不开的工程决战3.1 数据闭环从“看多远”到“想多全”聊完方向更值得深入的是怎么落地。只要是做过大模型或者大规模机器学习系统的人都知道一句话模型是水数据是水源。数据闭环能不能跑通直接决定“下一步方向”是停留在论文里还是变成真正的产品。一个完整的数据闭环通常可以拆成五个环节采集、清洗、标注、训练、部署反馈。说起来简单但每一个环节都藏着不少坑。先说采集不是把所有视频都扔进车里的硬盘就算采集完了。原始视频数据量太庞大如果全部回传带宽会被瞬间打爆。实际工程上会在车端做一套初筛只挑选那些“模型判断置信度低”“与人类司机操作差异大”“触发安全兜底策略”的片段。这些片段叫做“难例”它们才是对训练最有价值的数据。然后是清洗和标注。很多人以为自动标注能解决一切但实际中极端场景的标注准确率仍然完全依赖人工质检。你标注一帧“施工桩桶”很容易但标注“施工桩桶后面突然探出一个人头”就需要联合判断。这种场景如果用自动标注很容易把人和桩桶合成同一个框。更高效的做法是主动学习策略先让现有模型在未标注数据上跑一遍只挑出它“拿不准”的片段交给人工标注。这样做的好处是你只用标注10%的数据就能覆盖90%以上的长尾场景。我见过不少团队一上来就追求“全量标注”浪费了巨额预算效果却没有明显提升。数据闭环的意义不只是提高单次训练的精度它让整个系统的能力随着行驶里程增加而持续增长。今天遇到一个特殊场景模型没处理好回传、标注、重训下周这个场景就不会再犯同样的错误。看得多了想得全了能力上限才会上得去。这也是为什么我会说判断一个团队是不是真想做自动驾驶标准不是它有多少台测试车而是它有没有建立一条能持续转起来的数据飞轮。3.2 算力基建车端芯片与云端训练数据和模型都很重要但没有算力都是纸上谈兵。这次方向之所以被大家关注也恰恰是因为它的模型规模已经不是传统车辆芯片能轻松承载的了。车端要实时运行超大模型就必须在有限功耗和散热条件下把每秒处理的帧数和推理延迟同时做到极致。行业内一个大致不便宜的衡量标准是从摄像头取帧到最终输出控制信号端到端延迟要控制在几十毫秒以内。超过这个范围车辆已经驶过一段距离控制效果会大打折扣。很多人以为买几颗高性能芯片拼接在一起就可以了实际上在车端做多芯片协同的难度远高于服务器端。车辆运行环境温度范围宽振动大供电波动对芯片的稳定性和寿命都有严格要求。而且大模型的内存访问带宽会成为主要瓶颈不是算力TOPS数字堆上去就万事大吉。我见过某些团队买的芯片规格很漂亮但跑起来实际帧率只有标称值的三分之一因为数据搬运的时间比计算还长。这些都是工程细节却最容易在早期被忽略。云端训练侧的问题也同样现实。训练一个端到端驾驶模型不是像训练一个图像分类模型那样用几张显卡就能跑完。它需要大规模分布式训练集群需要海量视频数据反复进行多epoch训练。很多团队囤了很大的数据量但没有计算资源去充分训练最后模型效果还不如小数据集精心调出来的模型。更隐蔽的瓶颈是网络IO。训练集群内部的数据读取速度、数据预处理管线、断点续训机制都会影响整体训练效率。有时候GPU利用率只有30%剩下的时间都在等数据。解决这个问题需要把视频数据做压缩存储、特征筛选、预提取而不是一股脑把原始视频丢给训练脚本。一句话算力基建决定了模型迭代的上限。没有强大的车端推理能力和云端训练能力所谓“端到端”“世界模型”就会变成永远跑不动的demo。3.3 安全策略保守与激进的平衡做自动驾驶的人最绕不开的一个词就是“安全”。但很多人对安全的理解过于简单只要系统足够聪明就不会出事。实际上自动驾驶的安全性不是追求“零事故”的绝对安全而是在同等行驶条件下比人类驾驶员更稳定、更有预测性、更少失误。人类驾驶员的平均事故率摆在那里自动驾驶只要能大幅度优于那个数字就具备了大规模部署的理由。但公众接受度不会管这个。一次恶劣事故造成的社会影响可能超过一万次安全行驶累积的信任。所以工程上必须做多层次的兜底。即便主模型已经具备很强的驾驶能力系统仍然需要一层独立的“安全监控模型”专门负责判断“我现在是不是处于未知场景”。一旦识别到置信度不足就主动减速、靠边停车或请求远程协助。这个安全监控模型不负责判断“应该左转还是右转”它只负责判断“我还能不能继续开”判断逻辑越简单越可靠。这里有一个我特别想提醒的坑很多人把“兜底规则”当成万能保险觉得主模型是黑箱没关系反正有规则在。实际恰恰相反如果主模型和兜底规则各写各的两者之间会产生大量冲突。比如主模型认为前方障碍可以通过而兜底规则检测到“前方有物体”就强制制动结果车辆在高架桥上突然刹停反而制造了追尾风险。比较好的平衡方案是让安全模型和主模型在训练阶段就共享一部分底层感知特征在推理阶段各自保持独立同时通过仿真预先验证所有“安全模型介入”的边界条件。这里面的细节非常多但总的原则只有一个系统可以激进地学习但运行时必须保守地兜底。4. 从技术路线看商业模式的隐性变化4.1 订阅制与硬件预埋大多数人聊自动驾驶注意力都放在技术本身但“下一步方向”更值得琢磨的往往是它背后的商业模式转身。当系统变成一个从数据中持续进化的软件它就不再是出厂那一刻固化的功能而是可以不断升级的软件服务。这家公司早几年就把自动驾驶功能做成了订阅服务车主买车时先预埋硬件后续是否开通、开通多久完全通过软件控制。这一步棋一旦和“端到端数据闭环”绑定在一起威力会变得很大。消费者不需要为了新功能换一台车只要订阅继续系统每隔一段时间就会因为数据更新而变得更聪明。反过来对厂商来说卖车不再是一锤子买卖而是一个持续产生现金流的入口。更重要的是硬件预埋意味着车队规模越大可采集数据的面就越广数据飞轮转得越快。这个“先卖硬件、再卖软件、然后用数据反哺软件”的循环一旦跑起来后发玩家几乎无法追赶。很多车企也想模仿订阅制但卡在硬件预埋上。如果一辆车没有预埋足够算力的芯片后续软件再强也带不动。预埋芯片要增加单车成本这在竞争激烈的市场里是很难做的决定。只有想清楚了远期商业模式才敢在前期牺牲单车毛利。所以判断一家公司是不是真把道路想明白了看它敢不敢在所有量产车上预埋统一的高算力平台是一个很直观的信号。4.2 共享出行与车队化运营私家车每天平均开两小时而共享出行车队里的车一天可以跑二十个小时。同样一套自动驾驶系统放在私家车上它的数据贡献速度远远比不上放在运营车队里。这也是我一直认为自动驾驶真正成熟的商业闭环不是帮私家车主省事而是替代人力司机、把出行成本压缩到极致。当我们把“下一步方向”和Robotaxi车队联系在一起很多被忽视的技术需求就浮出水面了。车队化运营需要云端调度系统需要远程监控与接管机制需要自动充电和清洁的场站配套还需要处理乘客上下车、临时停车等待、异常物品遗留之类的问题。自动驾驶系统再聪明它也只是车队大脑里的一个核心模块而不是全部。行业里很多团队只训练“会开车的模型”却忽略了“运营车队”这件事本身就是极其复杂的系统工程。我的看法是私人场景的自动驾驶会先一步商业化但真正的规模化爆发点一定是在共享出行领域。因为只有在那里单车高昂的硬件成本可以被全天候运营摊薄数据采集速度也最快。换句话说谁先把手上的全自动驾驶系统从“技术demo”变成“运营工具”谁就拿到了下一张船票。4.3 数据资产成为新壁垒讲到最后所有的技术路线、商业模式最终都会指向同一个词数据资产。但这里说的数据不是存在硬盘里的一段段视频素材而是经过闭环处理、清洗标注、可训练迭代的高质量数据集。一条车道的视频如果不包含车流变化、光照变化和障碍物变化它的价值接近于零。只有真正覆盖长尾场景、格式统一、标签可靠的数据才是壁垒。传统汽车产业讲的是发动机排量、底盘调校、供应链管理。自动驾驶时代讲的是“我拥有多少小时的高质量城市驾驶数据”“我的难例库覆盖了多少种罕见场景”“我的标注流水线处理一帧数据要多少钱”。这些会直接变成模型能力的上限。算法论文可以公开模型结构可以仿制但数据资产是时间和车辆的积累砸钱可以加速一部分却无法一步登天。这也是为什么这次“下一步方向”听上去会这么有分量。因为当一个团队决定把主要精力放到端到端与世界模型上时它实际上是在承认从今往后最宝贵的东西不再是工程师的手机架而是由每一辆真实行驶车辆贡献出来的数据流。这个认知一旦建立整个行业评估公司价值的方式也要跟着变了。5. 我的实操观察与避坑心得5.1 别被营销名词带偏判定技术成熟度的线索这几年自动驾驶领域的发布会、Demo视频、技术博客特别多营销名词一个比一个高级。作为从业者我建议大家养成一套自己的“技术成熟度判断框架”别被一个看起来很酷的视频带偏。我自己主要看三件事。第一系统是不是真正端到端输出控制信号还是只在感知环节用了神经网络、其他模块还在靠规则拼接。如果是后者那只是在“AI换皮”能力上限没有根本变化。第二团队敢不敢公开数据闭环的关键指标比如难例回传比例、训练集更新频率、模型在不同天气下的表现对比。如果这些数据遮遮掩掩大概率还没有形成稳定飞轮。第三有没有跑过长时间影子模式并公开分析报告。没有影子模式支撑的自动驾驶宣称无异于实验室里的“考场优等生”。只要你用这套框架去筛就会发现很多所谓“突破性进展”只是某个模块的精度提升离“下一步方向”还很远。真正值得关注的永远是系统整体闭环的成熟度而不是单个指标的数字大小。5.2 团队做自动驾驶时最容易踩的三个坑结合我接触过的团队我总结了三个最常见也最隐蔽的坑每一个都是拿真金白银换来的教训。第一个坑是过度追求模型参数规模。很多人觉得大模型一定更智能于是不断堆参数结果模型在训练集上表现完美一到真实路况就手足无措。自动驾驶不是通用聊天它要面临的是极度不平衡的场景分布需要在无数个角落都保持稳健。正确做法应该是在场景覆盖率和模型参数量之间做权衡优先保证长尾场景不崩。第二个坑是忽视corner case的主动采集。真实路测中遇到一次极端情况的概率很低如果只靠随机路测去撞永远凑不齐足够的难例。我看过一些团队跑了上万公里数据量很大但里面绝大多数都是空旷通畅的道路场景真正有价值的复杂城市、恶劣天气、异常交通流数据占比不足百分之一。这种数据养出来的模型再训练也只是“高速路专用司机”。要有意识去安排团队在特定时段、特定路段做定向采集比如暴雨后的老城区、大型集散市场周边、学校上下学时段这些场景才是模型进化的关键。第三个坑是评价指标单一化。很多团队以“每多少公里接管一次”为唯一指标却忽视了另外几个重要方面模型对未知场景的预测不确定性、安全干预触发率、场景覆盖率、误刹车频率等。只看接管里程会让研发团队把大量精力用到优化平均路况上反而忽略了那些一年也遇不到一次、但一遇到就可能酿成大祸的极端场景。我建议建立一套多维评估体系至少包含安全、舒适、可用性、可解释性四个维度每个维度再往下拆意见指标持续跟踪。5.3 接下来几个月值得重点关注的验证节点方向是不是真的“想明白了”不能只看发布会接下来几个月有几个具体节点值得持续跟踪。第一看它是否开始向更多普通用户推送无安全员干预的试验版本。如果还是只在一小撮内部测试员手里跑说明数据闭环和影子模式还没达到规模化的阈值。第二看有没有发布基于世界模型的离线评测报告。世界模型听起来很美但效果如何需要像大语言模型评测基准那样拿出一套可复现的评估方法。第三看无人车队运营区域的扩张速度。一个地方跑通可能靠运气多个不同城市跑通才说明系统具备泛化能力。第四看数据回传策略是不是透明。如果不敢公开用户车辆回传数据的统计口径和处理方式后续的合规信任问题会变成很大障碍。这些节点比一次直播或者一条短视频要有说服力得多。抓住这些信号你就能判断出所谓“下一步方向”到底是已经动工的生产线还是依然停在墙上的设计图。我自己的体会是判断一个自动驾驶项目是不是真正进入下一阶段不要看PPT也不要只看某个单独的技术指标而是看它是否愿意把最难的数据闭环摊开给你看。这件事没有捷径跑过的每一公里、标注过的每一帧、踩过的每一个坑最后都会变成系统的上限。做这个方向的朋友与其焦虑别人的进展不如先把手上的难例数据管好把影子模式跑起来。这一步想明白了后面反而会顺很多。