去年夏天我在某南方城市做一段城市快速路的融合定位实测遇到一件印象深刻的事高架上有处临时改道车道线被施工队重新画了几百米车上的高精地图还停留在一周前的版本系统认定前方依旧是直行两车道而摄像头清清楚楚地看到地面新漆的白色弧线——地图说向左传感器说向右那一刻车在犹豫。这个犹豫的背后正是自动驾驶行业吵了很多年的“记忆”与“视觉”之争高精地图提供先验记忆实时感知提供当下视觉到底该信谁又该怎么把两者拧到同一个定位结果里这篇文章我想从一个一线工程师的角度把这笔账摊开算一算。1. 从一场“道路施工”聊起为什么自动驾驶要有记忆1.1 自动驾驶的“记忆”指什么从导航地图到高精地图的三级跳普通车载导航地图精度在米级它告诉我们“这条路能通到哪里”但完全不知道“你在哪条车道上、车道线是什么颜色、路口停止线距离车头多少米”。自动驾驶需要的是另一种地图行业里通常叫高精地图或HD Map它可以简单理解为“给车看的地图说明书”每个车道的中心线坐标、车道宽度、曲率、坡度护栏和路沿的精确位置交通牌、红绿灯、路口的拓扑关系全都被结构化成矢量数据精度要求达到厘米级。这个精度怎么理解举个例子一条3.5米宽的车道普通地图能告诉你“这里有一条路”而高精地图能告诉你“左侧车道线离你左前轮还有1.2米右侧虚线的起始点往前37米就变成实线”。对自动驾驶来说这个差异是能不能安全变道的分水岭。业内常见的说法是高精地图的相对精度要优于0.1米到0.3米绝对精度在0.5米到1米左右同时要求包含车道拓扑关系比如前方路口左转后进入哪条车道、这个路口能不能掉头。有人会问GPS不也能定位吗问题在于民用单点GPS的误差在数米到十几米而且城市高架下、隧道里信号会直接失效。高精地图解决的不只是“我在哪里”它更像一张先验知识网把“这条路上detected到的所有物理边界和规则”提前告诉车。1.2 没有记忆的车会怎样实时感知处理不了的几个场景有人可能觉得车有摄像头、有激光雷达不是能“看到”路吗为什么还需要记忆我在实测里遇到的场景可以说明问题。场景一是被遮挡的交通参与物。你在一条双向六车道的城市道路上右侧停着一辆大货车你完全看不到货车前方有没有行人准备横穿。纯靠感知系统要到行人从车头前冒出来才能识别那个时刻距离碰撞可能只剩几百毫秒。而如果有一份实时更新的高精地图结合车路协同或云端共享的感知信息系统可以在货车遮挡之前就知道“这个位置历史上经常有行人出现”或者直接从云端拿到“前方人行横道处有异常目标”的提示提前减速。场景二是天气退化。暴雨、大雾、逆光摄像头画面质量会急剧下降车道线可能被积水反光彻底盖住。激光雷达在小雨中尚可工作但大雨中噪声也会增大。感知系统此时给出的横向位置置信度很低如果手头没有一份车道级地图做约束车很容易像无头苍蝇一样在车道里画龙。场景三是超视距路况。高架桥的弯道出口你还没看到出口匝道上的堵车尾灯感知系统当然也不知道前方五百米已经堵死。但一个带有动态交通信息的高精地图服务可以把这件事提前告诉规划模块让车提前规划减速曲线而不是到了跟前才一脚急刹。这就是“记忆”的价值它不是用来取代眼睛而是用来弥补眼睛在看不清、看不见、来不及看时的盲区。没有记忆的车不是不能开而是只能在“一切条件良好”的温室里开。2. “视觉派”的底气实时感知这些年做对了什么2.1 从“看得见”到“看得懂”感知模型的进化说完了记忆派再聊视觉派。很多人对纯感知的印象还停留在“AI识别红绿灯”其实这些年感知技术的进化速度非常惊人。最早的辅助驾驶感知是2D目标检测就是一帧图像上画框告诉你这里有个车、那里有个人。问题是车辆行驶在三维世界里规划控制模块需要的是3D信息前车离我多远、速度多少、后车什么时候能超过我。于是行业转向了3D目标检测和多传感器融合摄像头负责语义激光雷达负责深度毫米波雷达负责速度各取所长。真正拉开差距的是BEV感知的普及。所谓BEV就是鸟瞰视角下的统一特征表达。粗浅地理解系统把多个摄像头、不同传感器的数据融合到一张“从天上往下看”的俯视图里每个目标在俯视图上有明确的位置和速度矢量同时道路结构车道线、路沿、可行驶区域也被重建出来。这个时候感知系统输出的东西已经非常接近一张局部地图了它知道前方120米的车道线走向知道左边这辆车正在向右变道知道右侧路沿的弧线曲率。再往后占用网络出现这套架构不再把世界拆成“车、人、障碍物”这些离散分类而是用一个三维体素网络描述“哪些空间被占用、哪些空间自由”即使遇到没见过的异形障碍物比如翻倒的货车、掉落的轮胎也能把它当占用的空间处理。这一步解决了很多长尾问题。我记得两年前测过一套开源感知模型在晴天高架路段上车道线识别精度已经能做到横向误差0.1米以内和低精度高精地图的误差上限很接近。这就是视觉派的底气如果眼睛足够好在某些场景下它确实不比记忆差。2.2 视觉派的论据道路是活的记忆跟不上变化视觉派另一个更锋利的论据是道路是活的。高精地图从采集到发布天然有周期即便做到日级更新也永远追不上现实世界的变化——施工改道、临时候车区、昨天刚画的新斑马线、路边堆放的建材。这些变化里有些是几周就恢复的短期状态有些是永久性的道路变更地图服务商不可能实时覆盖每一条道路。而实时感知天生没有“滞后”问题。摄像头看到什么就是什么车道线刚被重新画过感知模型立刻就能检测到新的几何走向前方300米发生小事故临时占用一条车道感知马上就能把这个“障碍物区域”标出来让规划绕行。我还体验过某家走感知主导方案的车在一条刚改造过的城市内环路上路面标线被重新涂刷旧地图还没更新。那台车靠感知自己重建了车道语义很稳地走完了全程。那一刻你会真切感受到在“应对当下变化”这件事上视觉确实比记忆更有资格发言。也正因为这样不少厂商开始喊“去图化”“无图智驾”把高精地图从主方案降级为可选增强项。但这里我要泼一盆冷水所谓“无图”真正做的是在车端实时重建高精地图也就是用感知能力现场“画图”而不是彻底抛弃结构化先验信息。没有地图不等于没有记忆而是把一个静态文件变成了动态过程。这个区别很重要后面我会细说。3. “记忆派”的隐忧高精地图的高成本与鲜度难题3.1 一公里地图的成本账采集车、众包与后处理高精地图不是地图公司画出来的而是拿传感器在真实道路上“扫”出来的。一辆专业采集车通常顶着组合导航系统、激光雷达、高分辨率相机一天能采集的有效里程其实很有限因为要覆盖不同时段、不同光照、不同天气下的道路状态。采集完的原始点云还要经过自动化标注、人工审核、矢量提取、质量校验最后才变成车端能用的图层文件。行业早期一公里高精地图的综合成本一度以数万元计算。这里面大头是采集设备折旧、驾驶里程费用和人工标注。后来随着自动化率提升、众包采集普及成本才逐渐降下来。一些量产车本身搭载了不错的传感器行驶过程中可以把感知结果回传云端由云端把多条车道的重复观测拼接、修正、发布这就是众包更新。说实话众包模式是地图成本问题的解药但它也有门槛车的传感器一致性、回传数据的带宽、多车数据的时空对齐哪一项都不简单。表格可以更直观地说明不同采集方式的差异采集方式代表设备精度表现成本水平更新时间专业测绘采集高精度组合导航激光雷达相机厘米级最高极高早期按万/公里计月级轻量化采集车高精度GNSS相机为主分米级中等千元级/公里级别周级量产车众包车规级摄像头低精度GNSS分米级到米级依赖融合算法边际成本低天级到小时级从这张表能看出来成本和鲜度是直接挂钩的。你肯花钱用专业采集车精度最高但更新最慢你用众包更新快但数据质量参差不齐得靠云端算法筛选。很多做地图的公司实际上是在精度、成本、鲜度这三者之间做不可能三角的权衡。3.2 鲜度危机从“地图更新慢”到“定位漂移”的连锁反应高精地图的鲜度问题不是“地图旧了重新下载就行”这么简单。对自动驾驶系统来说地图一旦和真实世界不一致定位精度会立刻崩掉。我来描述一个完整的故障链。某城市隧道出口外原本是三车道后来中间车道因排水施工被围挡实际可用只有两车道路面的车道线也被临时改成向左偏移。如果云端地图没有及时更新车辆定位模块在做“地图匹配”时会把实时感知到的车道线特征和地图里的旧车道线做匹配结果发现横向偏差越来越大。这时有两种可能一种是把定位结果强行往地图旧几何上拉车会感觉“被一股力气往左拽”在车道内跑偏另一种是检测到一致性崩塌定位置信度下降系统被迫降级。我在实测中就遇到过隧道出口地图未更新的情况车辆出隧道后连续3秒都处于“横向不确定”状态方向盘出现小幅修正抖动车内乘客很明显能感觉到车在犹豫。这还只是正常天气下的表现如果是雨雪天气车道线本身都看不清问题会加倍放大。这还没算上日更成本。有人估算过要维持全国高速和城市快速路的高精地图日级更新云端每天要处理的增量数据量是天文数字光带宽和存储成本就能吓退不少方案。所以高精地图的隐忧是实实在在的不是它本身不好而是它太贵、太慢跟不上路的变化速度。4. 融合定位把记忆和视觉放进同一个坐标系4.1 融合定位的技术骨架GNSS/IMU/视觉/地图匹配互相兜底吵完了“记忆派”和“视觉派”说点实际的一个成熟的自动驾驶系统从来不是在两个方案里选一个而是把记忆和视觉都收编交给一个定位融合模块来统一处理。这个模块的技术骨架按照传感器类别可以拆成四块。第一块是GNSS/INS组合导航。GNSS提供绝对位置但信号在城市峡谷会受多路径干扰误差会从米级跳到十几米IMU惯性测量单元以高频提供加速度和角速度短时精度极好但长时会累积漂移。两者通过卡尔曼滤波或因子图做紧耦合得到相对稳定的车身位置、速度和姿态估计。第二块是视觉里程计和激光里程计。它们通过连续帧的特征匹配估计车辆自身的运动增量也就是“这一段我走了多远、转了多少弯”。视觉在纹理丰富区域很准在隧道、白墙等弱纹理区域会失效激光里程计对几何结构敏感但在空旷区域或雨雪天气也会退化。里程计解决的是“相对运动”不解决“绝对在哪里”。第三块是高精地图匹配。车辆通过感知模块提取出车道线、路沿、护栏等几何特征把这些特征和高精地图里的对应元素做匹配反算出车辆在地图坐标系里的位置。这个过程很像你把一张照片和一张地图叠在一起通过让道路轮廓对齐来找到照片的拍摄点。地图匹配的精度很高但它严重依赖地图本身的正确性——如果地图旧了匹配结果就会带偏定位。第四块是车辆运动学约束。转向角、轮速、挡位这些底盘信息看似不起眼实际上能在所有传感器都短暂失效时给出一个延续性的运动预测是兜底中的兜底。最后所有信息要在一个统一坐标系里做融合。这是新手最常忽略的地方GNSS给的是经纬度地图匹配给的是地图局部坐标IMU给的是车身坐标视觉里程计给的是相机坐标四路数据如果不先做外参标定和时间同步融合就是各说各话。业界通用的做法是先把所有量统一到ECEF或UTM这样的地心地固坐标系再通过一个中心滤波器做状态估计坐标统一这一步做的越扎实后面融合的稳定性越好。4.2 当记忆和眼睛打架时置信度设计与回退策略融合定位置的关键难点不是“怎么融合”而是“互相矛盾时听谁的”。我前文说的施工场景地图说向左、感知说向右这时候如果单纯取平均车会走出一个S型反而更危险。业内的做法是给每条观测加一个动态置信度。地图匹配结果的置信度取决于地图数据的版本新鲜度和匹配残差如果摄像头看到的车道线与地图元素能够大量对齐残差小置信度就高如果匹配不上残差大置信度就降低。感知结果的置信度取决于模型输出的概率、检测目标的稳定性、以及和其他传感器的交叉验证。GNSS的置信度则取决于卫星数、几何精度因子和载波相位解算状态。把这些置信度写成一个权重向量再加到融合滤波器里去问题就变成一个带权重的最小二乘估计或最大后验估计。举个简化版本状态方程: x_k x_{k-1} v_k * dt w_k 观测方程: z_k H * x_k v_k 融合目标: x_hat argmin_x ( sum_i w_i * || z_i - H_i * x ||^2 )其中w_i就是各传感器的置信度。地图匹配残差大就自动降权让相机主导横向位置相机置信度低就让地图权重回来用先验稳住车身。这个动态切换不是二进制开关而是连续渐变车辆的表现才不会突兀。更重要的是一整套回退策略。我们的系统设计了三档正常档地图目标和感知目标一致融合定位结果直接给到规划模块降级档出现局部不一致系统降低车速限制加大安全冗余同时控制模块避免激进变道安全档定位置信度低于阈值车辆自动靠边停车并请求远程介入。这个层层退守的思路比任何试图“完美融合”的算法都更能保证安全。我见过一些初创团队一上来就堆十来路传感器算法很花哨但连最基本的“地图版本号校验”都没做。结果地图在A版本、车辆已经跑到B版本的道路上融合滤波器还在费力地让新旧几何对齐。这种基本功缺失比算法精度不足要致命得多。5. 行业路线分野与一场被重新定义的“去图化”5.1 走两条极端的玩家们如果看行业里的落地路线目前的玩家大致分成两拨。一拨是“重感知轻地图”典型做法是尽可能弱化对高精地图的依赖把主力预算投在BEV模型、占用网络和端到端规控上地图只用来做辅助的全局拓扑提示。另一拨是“重地图轻感知”以传统高阶辅助驾驶方案为主把高精地图当作核心安全件感知模型相对保守对识别置信度要求极高宁可不做也不误识别。这两种路线各有各的逻辑。重感知派赌的是“感知模型能力的上涨曲线足够陡最终能覆盖绝大多数场景”重地图派赌的是“高精地图精度和鲜度的提升能够支撑更高级别的安全冗余”。从我实际测试的感受来看重感知方案在城区复杂路口的表现更灵活因为它不会被地图里过时的拓扑束缚重地图方案在高速和城市快速路上的表现更稳定因为结构化道路是地图最擅长、感知最重复劳动的场景。一个有意思的变化是随着时间推移这两拨人正在互相靠近。重感知的车企开始做“记忆行车”就是车辆反复行驶同一段路时把沿途的车道结构、路口特征、红绿灯位置累积下来形成私有地图其实就是把实时感知做成了一种动态记忆。重地图的地图商则开始提供“实时图层服务”把施工事件、临时管制、事故占道等动态信息以分钟级推送给车端让静态地图也活起来。两条路线的边界远没有口号里那么清晰。5.2 “轻地图重感知”的真实含义不是扔掉记忆而是重塑记忆很多人把“无图智驾”理解成“完全不使用任何地图”这是个典型的误解。我拆过几套所谓的“无图”方案底层还是有用到导航地图提供全局路径、红绿灯位置等粗粒度信息。真正被“去”掉的只是厘米级矢量化高精地图这种高成本、低鲜度的静态文件。替代它的方案是“实时局部语义地图”车端感知模型每帧都在重建车道线、路沿、可行驶区域然后通过SLAM技术把连续帧拼接成一个局部的一致性地图片段相当于车本身在一路走一路画图。这套方案的天然优势是鲜度永远满格因为地图就是感知刚生成的结果劣势在于没有先验车辆每次到同一个路口都是“初次见面”无法利用历史经验做预判。再往前走一步就是车端局部地图云端历史记忆的组网。车辆在云端共享“这条路上一周前是什么结构”当车再次经过时云端把历史记忆下发车辆用历史记忆做先验校验用实时感知检测变化两者一致则增强置信度不一致则以实时感知为准并触发云端情报更新。这已经很接近“记忆与视觉”的理想关系了记忆负责提供预期视觉负责校验和改写预期。所谓去图化去掉的只是“静态孤岛式记忆”换来的是一种可以随现实不断更新的“活记忆”。6. 融合定位落地踩坑记最容易翻车的三个场景与对策6.1 城市峡谷里的GNSS跳变城市峡谷是融合定位的头号杀手。两侧高楼会把卫星信号反射进接收机形成多路径效应伪距观测值突然加了一个数米到数十米的偏差。表现就是定位结果在几秒内跳一下甚至原地漂移十几米。我遇到过一次很典型的一段高架下辅路左侧是玻璃幕墙写字楼右侧是高架桥墩GNSS定位误差突然增大到30米以上地图匹配结果被严重污染车辆右侧轮几乎压线。排查后发现融合滤波器给了GNSS一个接近满值的权重因为它认为卫星数量足够、几何精度因子也很好但完全没有意识到这些卫星信号里有大半是反射信号。多路径误差不会体现在观测量方差里这才是它的阴险之处。对策分两层。第一层是在GNSS解算端用载波相位差分、双频接收机、以及基于高程模型的反射信号检测尽可能把异常观测剔除。第二层是在融合端给GNSS设置一个“场景先验惩罚”当检测到高架桥、高楼遮挡场景时GNSS权重自动下调把定位主导权交给视觉里程计和地图匹配。这条经验是我们吃了一次亏才总结出来的后期在融合参数里增加了场景因子之后城市峡谷测试的横向误差中位数下降了40%以上。6.2 地下车库的“回旋走廊”与视觉退化地下车库是另一个复杂的融合定位场景。GNSS信号完全缺失只能靠IMU视觉里程计轮速。但地库的视觉条件通常很差灯光昏暗、白墙无纹理、环氧地坪反光车道线模糊不清。IMU在无修正条件下几十秒后姿态漂移就会明显影响定位。我们在一座商业综合体地库做测试时遇到过“回旋走廊”场景就是连续几段半径很小的弯道。视觉里程计在旋转太快时特征追踪容易丢失轮速又会打滑IMU又在下坡段出现垂直方向偏差三重误差叠加车辆在回到地面那一刻的定位误差接近5米。这个数值意味着车辆完全不知道自己从地库哪个口出来的如果地面上有多个出口全局定位直接错乱。对策是把地库定位当成“特定场景”来设计专用方案。现在的做法是入场时下载一份停车场高精地图不只是车位和坡道的几何图车辆在库里主要用激光雷达或视觉特征与这份先验图做匹配IMU只用来做帧间短时外推。匹配不到时主动放慢车速、增加回环检测的触发频率利用车身重复经过同一路径来修正漂移。说到底地库里的“记忆”比“视觉”靠谱得多因为地库的结构很少变化静态地图在这里的鲜度压力很小。6.3 雨天雪天的置信度衰减、动态调整最后一个翻车场景是恶劣天气下的感知置信度衰减。雨雪天对感知的影响是全面性的摄像头的图像对比度下降、车道线被积水或积雪覆盖、激光雷达点云受雨滴雪片干扰产生大量噪声点、毫米波雷达虽然抗恶劣天气能力强但在某些角度会产生镜面反射虚假目标。融合滤波器如果用的是固定权重在这种天气下一定会出问题。我们的做法是引入一个环境状态估计器通过雨量传感器、车速和雨刮器档位、图像清晰度指标比如拉普拉斯方差综合评估当前环境恶劣程度然后动态调整各传感器权重。逻辑很简单雨越大摄像头权重越低毫米波雷达和IMU地图匹配的权重越高雪越大车道线匹配的置信度越要打折扣横向定位更多依赖路沿和护栏这类三维结构而不是地面标线。有一次在暴雨天气下进行系统测试靠着动态权重调整车辆在高速上的横向控制一直保持稳定而同一路段如果锁死固定权重车辆在积水路段明显出现向左偏的趋势。这个对比让我确信融合定位不只是一道数学题还是一个对环境有感知、会自我调节的“活系统”。我的实操体会做融合定位这几年我最大的感受是不要在“记忆还是视觉”里站队。高精地图不是万能的纯感知也不是包治百病的真正决定系统上限的是那个能把记忆、视觉、惯性、运动学全部装进去、又能在矛盾时做出合理取舍的融合框架。地图给出预期感知校验预期IMU兜住瞬时规划守住安全每块都有自己的不可替代性。最后分享一个落地经验很多融合定位的问题最后排查下来都不是算法不够先进而是坐标系没统一、时间戳没同步、外参标定不够准。这些“土”问题比那些酷炫的模型更值得先花力气解决。先让数据对齐再谈智能决策这是我踩过不少坑之后最想告诉你的话。 
长河君 · 2026/10/19 14:57:37 · 阅读 1.2k 自动驾驶融合定位：高精地图与实时感知从博弈到共生
去年夏天我在某南方城市做一段城市快速路的融合定位实测遇到一件印象深刻的事高架上有处临时改道车道线被施工队重新画了几百米车上的高精地图还停留在一周前的版本系统认定前方依旧是直行两车道而摄像头清清楚楚地看到地面新漆的白色弧线——地图说向左传感器说向右那一刻车在犹豫。这个犹豫的背后正是自动驾驶行业吵了很多年的“记忆”与“视觉”之争高精地图提供先验记忆实时感知提供当下视觉到底该信谁又该怎么把两者拧到同一个定位结果里这篇文章我想从一个一线工程师的角度把这笔账摊开算一算。1. 从一场“道路施工”聊起为什么自动驾驶要有记忆1.1 自动驾驶的“记忆”指什么从导航地图到高精地图的三级跳普通车载导航地图精度在米级它告诉我们“这条路能通到哪里”但完全不知道“你在哪条车道上、车道线是什么颜色、路口停止线距离车头多少米”。自动驾驶需要的是另一种地图行业里通常叫高精地图或HD Map它可以简单理解为“给车看的地图说明书”每个车道的中心线坐标、车道宽度、曲率、坡度护栏和路沿的精确位置交通牌、红绿灯、路口的拓扑关系全都被结构化成矢量数据精度要求达到厘米级。这个精度怎么理解举个例子一条3.5米宽的车道普通地图能告诉你“这里有一条路”而高精地图能告诉你“左侧车道线离你左前轮还有1.2米右侧虚线的起始点往前37米就变成实线”。对自动驾驶来说这个差异是能不能安全变道的分水岭。业内常见的说法是高精地图的相对精度要优于0.1米到0.3米绝对精度在0.5米到1米左右同时要求包含车道拓扑关系比如前方路口左转后进入哪条车道、这个路口能不能掉头。有人会问GPS不也能定位吗问题在于民用单点GPS的误差在数米到十几米而且城市高架下、隧道里信号会直接失效。高精地图解决的不只是“我在哪里”它更像一张先验知识网把“这条路上detected到的所有物理边界和规则”提前告诉车。1.2 没有记忆的车会怎样实时感知处理不了的几个场景有人可能觉得车有摄像头、有激光雷达不是能“看到”路吗为什么还需要记忆我在实测里遇到的场景可以说明问题。场景一是被遮挡的交通参与物。你在一条双向六车道的城市道路上右侧停着一辆大货车你完全看不到货车前方有没有行人准备横穿。纯靠感知系统要到行人从车头前冒出来才能识别那个时刻距离碰撞可能只剩几百毫秒。而如果有一份实时更新的高精地图结合车路协同或云端共享的感知信息系统可以在货车遮挡之前就知道“这个位置历史上经常有行人出现”或者直接从云端拿到“前方人行横道处有异常目标”的提示提前减速。场景二是天气退化。暴雨、大雾、逆光摄像头画面质量会急剧下降车道线可能被积水反光彻底盖住。激光雷达在小雨中尚可工作但大雨中噪声也会增大。感知系统此时给出的横向位置置信度很低如果手头没有一份车道级地图做约束车很容易像无头苍蝇一样在车道里画龙。场景三是超视距路况。高架桥的弯道出口你还没看到出口匝道上的堵车尾灯感知系统当然也不知道前方五百米已经堵死。但一个带有动态交通信息的高精地图服务可以把这件事提前告诉规划模块让车提前规划减速曲线而不是到了跟前才一脚急刹。这就是“记忆”的价值它不是用来取代眼睛而是用来弥补眼睛在看不清、看不见、来不及看时的盲区。没有记忆的车不是不能开而是只能在“一切条件良好”的温室里开。2. “视觉派”的底气实时感知这些年做对了什么2.1 从“看得见”到“看得懂”感知模型的进化说完了记忆派再聊视觉派。很多人对纯感知的印象还停留在“AI识别红绿灯”其实这些年感知技术的进化速度非常惊人。最早的辅助驾驶感知是2D目标检测就是一帧图像上画框告诉你这里有个车、那里有个人。问题是车辆行驶在三维世界里规划控制模块需要的是3D信息前车离我多远、速度多少、后车什么时候能超过我。于是行业转向了3D目标检测和多传感器融合摄像头负责语义激光雷达负责深度毫米波雷达负责速度各取所长。真正拉开差距的是BEV感知的普及。所谓BEV就是鸟瞰视角下的统一特征表达。粗浅地理解系统把多个摄像头、不同传感器的数据融合到一张“从天上往下看”的俯视图里每个目标在俯视图上有明确的位置和速度矢量同时道路结构车道线、路沿、可行驶区域也被重建出来。这个时候感知系统输出的东西已经非常接近一张局部地图了它知道前方120米的车道线走向知道左边这辆车正在向右变道知道右侧路沿的弧线曲率。再往后占用网络出现这套架构不再把世界拆成“车、人、障碍物”这些离散分类而是用一个三维体素网络描述“哪些空间被占用、哪些空间自由”即使遇到没见过的异形障碍物比如翻倒的货车、掉落的轮胎也能把它当占用的空间处理。这一步解决了很多长尾问题。我记得两年前测过一套开源感知模型在晴天高架路段上车道线识别精度已经能做到横向误差0.1米以内和低精度高精地图的误差上限很接近。这就是视觉派的底气如果眼睛足够好在某些场景下它确实不比记忆差。2.2 视觉派的论据道路是活的记忆跟不上变化视觉派另一个更锋利的论据是道路是活的。高精地图从采集到发布天然有周期即便做到日级更新也永远追不上现实世界的变化——施工改道、临时候车区、昨天刚画的新斑马线、路边堆放的建材。这些变化里有些是几周就恢复的短期状态有些是永久性的道路变更地图服务商不可能实时覆盖每一条道路。而实时感知天生没有“滞后”问题。摄像头看到什么就是什么车道线刚被重新画过感知模型立刻就能检测到新的几何走向前方300米发生小事故临时占用一条车道感知马上就能把这个“障碍物区域”标出来让规划绕行。我还体验过某家走感知主导方案的车在一条刚改造过的城市内环路上路面标线被重新涂刷旧地图还没更新。那台车靠感知自己重建了车道语义很稳地走完了全程。那一刻你会真切感受到在“应对当下变化”这件事上视觉确实比记忆更有资格发言。也正因为这样不少厂商开始喊“去图化”“无图智驾”把高精地图从主方案降级为可选增强项。但这里我要泼一盆冷水所谓“无图”真正做的是在车端实时重建高精地图也就是用感知能力现场“画图”而不是彻底抛弃结构化先验信息。没有地图不等于没有记忆而是把一个静态文件变成了动态过程。这个区别很重要后面我会细说。3. “记忆派”的隐忧高精地图的高成本与鲜度难题3.1 一公里地图的成本账采集车、众包与后处理高精地图不是地图公司画出来的而是拿传感器在真实道路上“扫”出来的。一辆专业采集车通常顶着组合导航系统、激光雷达、高分辨率相机一天能采集的有效里程其实很有限因为要覆盖不同时段、不同光照、不同天气下的道路状态。采集完的原始点云还要经过自动化标注、人工审核、矢量提取、质量校验最后才变成车端能用的图层文件。行业早期一公里高精地图的综合成本一度以数万元计算。这里面大头是采集设备折旧、驾驶里程费用和人工标注。后来随着自动化率提升、众包采集普及成本才逐渐降下来。一些量产车本身搭载了不错的传感器行驶过程中可以把感知结果回传云端由云端把多条车道的重复观测拼接、修正、发布这就是众包更新。说实话众包模式是地图成本问题的解药但它也有门槛车的传感器一致性、回传数据的带宽、多车数据的时空对齐哪一项都不简单。表格可以更直观地说明不同采集方式的差异采集方式代表设备精度表现成本水平更新时间专业测绘采集高精度组合导航激光雷达相机厘米级最高极高早期按万/公里计月级轻量化采集车高精度GNSS相机为主分米级中等千元级/公里级别周级量产车众包车规级摄像头低精度GNSS分米级到米级依赖融合算法边际成本低天级到小时级从这张表能看出来成本和鲜度是直接挂钩的。你肯花钱用专业采集车精度最高但更新最慢你用众包更新快但数据质量参差不齐得靠云端算法筛选。很多做地图的公司实际上是在精度、成本、鲜度这三者之间做不可能三角的权衡。3.2 鲜度危机从“地图更新慢”到“定位漂移”的连锁反应高精地图的鲜度问题不是“地图旧了重新下载就行”这么简单。对自动驾驶系统来说地图一旦和真实世界不一致定位精度会立刻崩掉。我来描述一个完整的故障链。某城市隧道出口外原本是三车道后来中间车道因排水施工被围挡实际可用只有两车道路面的车道线也被临时改成向左偏移。如果云端地图没有及时更新车辆定位模块在做“地图匹配”时会把实时感知到的车道线特征和地图里的旧车道线做匹配结果发现横向偏差越来越大。这时有两种可能一种是把定位结果强行往地图旧几何上拉车会感觉“被一股力气往左拽”在车道内跑偏另一种是检测到一致性崩塌定位置信度下降系统被迫降级。我在实测中就遇到过隧道出口地图未更新的情况车辆出隧道后连续3秒都处于“横向不确定”状态方向盘出现小幅修正抖动车内乘客很明显能感觉到车在犹豫。这还只是正常天气下的表现如果是雨雪天气车道线本身都看不清问题会加倍放大。这还没算上日更成本。有人估算过要维持全国高速和城市快速路的高精地图日级更新云端每天要处理的增量数据量是天文数字光带宽和存储成本就能吓退不少方案。所以高精地图的隐忧是实实在在的不是它本身不好而是它太贵、太慢跟不上路的变化速度。4. 融合定位把记忆和视觉放进同一个坐标系4.1 融合定位的技术骨架GNSS/IMU/视觉/地图匹配互相兜底吵完了“记忆派”和“视觉派”说点实际的一个成熟的自动驾驶系统从来不是在两个方案里选一个而是把记忆和视觉都收编交给一个定位融合模块来统一处理。这个模块的技术骨架按照传感器类别可以拆成四块。第一块是GNSS/INS组合导航。GNSS提供绝对位置但信号在城市峡谷会受多路径干扰误差会从米级跳到十几米IMU惯性测量单元以高频提供加速度和角速度短时精度极好但长时会累积漂移。两者通过卡尔曼滤波或因子图做紧耦合得到相对稳定的车身位置、速度和姿态估计。第二块是视觉里程计和激光里程计。它们通过连续帧的特征匹配估计车辆自身的运动增量也就是“这一段我走了多远、转了多少弯”。视觉在纹理丰富区域很准在隧道、白墙等弱纹理区域会失效激光里程计对几何结构敏感但在空旷区域或雨雪天气也会退化。里程计解决的是“相对运动”不解决“绝对在哪里”。第三块是高精地图匹配。车辆通过感知模块提取出车道线、路沿、护栏等几何特征把这些特征和高精地图里的对应元素做匹配反算出车辆在地图坐标系里的位置。这个过程很像你把一张照片和一张地图叠在一起通过让道路轮廓对齐来找到照片的拍摄点。地图匹配的精度很高但它严重依赖地图本身的正确性——如果地图旧了匹配结果就会带偏定位。第四块是车辆运动学约束。转向角、轮速、挡位这些底盘信息看似不起眼实际上能在所有传感器都短暂失效时给出一个延续性的运动预测是兜底中的兜底。最后所有信息要在一个统一坐标系里做融合。这是新手最常忽略的地方GNSS给的是经纬度地图匹配给的是地图局部坐标IMU给的是车身坐标视觉里程计给的是相机坐标四路数据如果不先做外参标定和时间同步融合就是各说各话。业界通用的做法是先把所有量统一到ECEF或UTM这样的地心地固坐标系再通过一个中心滤波器做状态估计坐标统一这一步做的越扎实后面融合的稳定性越好。4.2 当记忆和眼睛打架时置信度设计与回退策略融合定位置的关键难点不是“怎么融合”而是“互相矛盾时听谁的”。我前文说的施工场景地图说向左、感知说向右这时候如果单纯取平均车会走出一个S型反而更危险。业内的做法是给每条观测加一个动态置信度。地图匹配结果的置信度取决于地图数据的版本新鲜度和匹配残差如果摄像头看到的车道线与地图元素能够大量对齐残差小置信度就高如果匹配不上残差大置信度就降低。感知结果的置信度取决于模型输出的概率、检测目标的稳定性、以及和其他传感器的交叉验证。GNSS的置信度则取决于卫星数、几何精度因子和载波相位解算状态。把这些置信度写成一个权重向量再加到融合滤波器里去问题就变成一个带权重的最小二乘估计或最大后验估计。举个简化版本状态方程: x_k x_{k-1} v_k * dt w_k 观测方程: z_k H * x_k v_k 融合目标: x_hat argmin_x ( sum_i w_i * || z_i - H_i * x ||^2 )其中w_i就是各传感器的置信度。地图匹配残差大就自动降权让相机主导横向位置相机置信度低就让地图权重回来用先验稳住车身。这个动态切换不是二进制开关而是连续渐变车辆的表现才不会突兀。更重要的是一整套回退策略。我们的系统设计了三档正常档地图目标和感知目标一致融合定位结果直接给到规划模块降级档出现局部不一致系统降低车速限制加大安全冗余同时控制模块避免激进变道安全档定位置信度低于阈值车辆自动靠边停车并请求远程介入。这个层层退守的思路比任何试图“完美融合”的算法都更能保证安全。我见过一些初创团队一上来就堆十来路传感器算法很花哨但连最基本的“地图版本号校验”都没做。结果地图在A版本、车辆已经跑到B版本的道路上融合滤波器还在费力地让新旧几何对齐。这种基本功缺失比算法精度不足要致命得多。5. 行业路线分野与一场被重新定义的“去图化”5.1 走两条极端的玩家们如果看行业里的落地路线目前的玩家大致分成两拨。一拨是“重感知轻地图”典型做法是尽可能弱化对高精地图的依赖把主力预算投在BEV模型、占用网络和端到端规控上地图只用来做辅助的全局拓扑提示。另一拨是“重地图轻感知”以传统高阶辅助驾驶方案为主把高精地图当作核心安全件感知模型相对保守对识别置信度要求极高宁可不做也不误识别。这两种路线各有各的逻辑。重感知派赌的是“感知模型能力的上涨曲线足够陡最终能覆盖绝大多数场景”重地图派赌的是“高精地图精度和鲜度的提升能够支撑更高级别的安全冗余”。从我实际测试的感受来看重感知方案在城区复杂路口的表现更灵活因为它不会被地图里过时的拓扑束缚重地图方案在高速和城市快速路上的表现更稳定因为结构化道路是地图最擅长、感知最重复劳动的场景。一个有意思的变化是随着时间推移这两拨人正在互相靠近。重感知的车企开始做“记忆行车”就是车辆反复行驶同一段路时把沿途的车道结构、路口特征、红绿灯位置累积下来形成私有地图其实就是把实时感知做成了一种动态记忆。重地图的地图商则开始提供“实时图层服务”把施工事件、临时管制、事故占道等动态信息以分钟级推送给车端让静态地图也活起来。两条路线的边界远没有口号里那么清晰。5.2 “轻地图重感知”的真实含义不是扔掉记忆而是重塑记忆很多人把“无图智驾”理解成“完全不使用任何地图”这是个典型的误解。我拆过几套所谓的“无图”方案底层还是有用到导航地图提供全局路径、红绿灯位置等粗粒度信息。真正被“去”掉的只是厘米级矢量化高精地图这种高成本、低鲜度的静态文件。替代它的方案是“实时局部语义地图”车端感知模型每帧都在重建车道线、路沿、可行驶区域然后通过SLAM技术把连续帧拼接成一个局部的一致性地图片段相当于车本身在一路走一路画图。这套方案的天然优势是鲜度永远满格因为地图就是感知刚生成的结果劣势在于没有先验车辆每次到同一个路口都是“初次见面”无法利用历史经验做预判。再往前走一步就是车端局部地图云端历史记忆的组网。车辆在云端共享“这条路上一周前是什么结构”当车再次经过时云端把历史记忆下发车辆用历史记忆做先验校验用实时感知检测变化两者一致则增强置信度不一致则以实时感知为准并触发云端情报更新。这已经很接近“记忆与视觉”的理想关系了记忆负责提供预期视觉负责校验和改写预期。所谓去图化去掉的只是“静态孤岛式记忆”换来的是一种可以随现实不断更新的“活记忆”。6. 融合定位落地踩坑记最容易翻车的三个场景与对策6.1 城市峡谷里的GNSS跳变城市峡谷是融合定位的头号杀手。两侧高楼会把卫星信号反射进接收机形成多路径效应伪距观测值突然加了一个数米到数十米的偏差。表现就是定位结果在几秒内跳一下甚至原地漂移十几米。我遇到过一次很典型的一段高架下辅路左侧是玻璃幕墙写字楼右侧是高架桥墩GNSS定位误差突然增大到30米以上地图匹配结果被严重污染车辆右侧轮几乎压线。排查后发现融合滤波器给了GNSS一个接近满值的权重因为它认为卫星数量足够、几何精度因子也很好但完全没有意识到这些卫星信号里有大半是反射信号。多路径误差不会体现在观测量方差里这才是它的阴险之处。对策分两层。第一层是在GNSS解算端用载波相位差分、双频接收机、以及基于高程模型的反射信号检测尽可能把异常观测剔除。第二层是在融合端给GNSS设置一个“场景先验惩罚”当检测到高架桥、高楼遮挡场景时GNSS权重自动下调把定位主导权交给视觉里程计和地图匹配。这条经验是我们吃了一次亏才总结出来的后期在融合参数里增加了场景因子之后城市峡谷测试的横向误差中位数下降了40%以上。6.2 地下车库的“回旋走廊”与视觉退化地下车库是另一个复杂的融合定位场景。GNSS信号完全缺失只能靠IMU视觉里程计轮速。但地库的视觉条件通常很差灯光昏暗、白墙无纹理、环氧地坪反光车道线模糊不清。IMU在无修正条件下几十秒后姿态漂移就会明显影响定位。我们在一座商业综合体地库做测试时遇到过“回旋走廊”场景就是连续几段半径很小的弯道。视觉里程计在旋转太快时特征追踪容易丢失轮速又会打滑IMU又在下坡段出现垂直方向偏差三重误差叠加车辆在回到地面那一刻的定位误差接近5米。这个数值意味着车辆完全不知道自己从地库哪个口出来的如果地面上有多个出口全局定位直接错乱。对策是把地库定位当成“特定场景”来设计专用方案。现在的做法是入场时下载一份停车场高精地图不只是车位和坡道的几何图车辆在库里主要用激光雷达或视觉特征与这份先验图做匹配IMU只用来做帧间短时外推。匹配不到时主动放慢车速、增加回环检测的触发频率利用车身重复经过同一路径来修正漂移。说到底地库里的“记忆”比“视觉”靠谱得多因为地库的结构很少变化静态地图在这里的鲜度压力很小。6.3 雨天雪天的置信度衰减、动态调整最后一个翻车场景是恶劣天气下的感知置信度衰减。雨雪天对感知的影响是全面性的摄像头的图像对比度下降、车道线被积水或积雪覆盖、激光雷达点云受雨滴雪片干扰产生大量噪声点、毫米波雷达虽然抗恶劣天气能力强但在某些角度会产生镜面反射虚假目标。融合滤波器如果用的是固定权重在这种天气下一定会出问题。我们的做法是引入一个环境状态估计器通过雨量传感器、车速和雨刮器档位、图像清晰度指标比如拉普拉斯方差综合评估当前环境恶劣程度然后动态调整各传感器权重。逻辑很简单雨越大摄像头权重越低毫米波雷达和IMU地图匹配的权重越高雪越大车道线匹配的置信度越要打折扣横向定位更多依赖路沿和护栏这类三维结构而不是地面标线。有一次在暴雨天气下进行系统测试靠着动态权重调整车辆在高速上的横向控制一直保持稳定而同一路段如果锁死固定权重车辆在积水路段明显出现向左偏的趋势。这个对比让我确信融合定位不只是一道数学题还是一个对环境有感知、会自我调节的“活系统”。我的实操体会做融合定位这几年我最大的感受是不要在“记忆还是视觉”里站队。高精地图不是万能的纯感知也不是包治百病的真正决定系统上限的是那个能把记忆、视觉、惯性、运动学全部装进去、又能在矛盾时做出合理取舍的融合框架。地图给出预期感知校验预期IMU兜住瞬时规划守住安全每块都有自己的不可替代性。最后分享一个落地经验很多融合定位的问题最后排查下来都不是算法不够先进而是坐标系没统一、时间戳没同步、外参标定不够准。这些“土”问题比那些酷炫的模型更值得先花力气解决。先让数据对齐再谈智能决策这是我踩过不少坑之后最想告诉你的话。