1. 自动驾驶入门指南从零开始理解这套系统到底怎么跑起来的如果你最近在关注智能汽车、机器人或者人工智能落地的方向大概率绕不开“自动驾驶”这四个字。但很多人对这个领域的认知停留在“车自己会开”这个层面再往下问一层——它到底怎么感知世界、怎么做决策、怎么控制方向盘和刹车——就说不太清楚了。我写这篇东西的初衷很简单把自动驾驶这套系统拆开用从业者的视角讲清楚它的核心模块、技术选型逻辑、实操中会踩的坑以及一个新手如果想入门应该按什么顺序去学、去练。这篇文章适合几类人看。第一类是对自动驾驶感兴趣但完全没有基础的开发者想搞清楚这个领域到底涉及哪些技术栈第二类是有一定编程基础、想往这个方向转型的工程师需要一份可落地的学习路径和实操参考第三类是做产品或者项目管理的朋友需要理解自动驾驶系统的能力边界和关键参数方便做判断和沟通。不管你是哪一类我都会尽量用生活化的类比把复杂概念讲透同时给出可以直接参考的参数、步骤和排查方法。先说一个基本认知自动驾驶不是一个单一技术它是一整套系统工程。感知、定位、预测、规划、控制这五个模块环环相扣任何一个环节出问题整个系统就不可靠。很多人一开始就扎进深度学习模型里结果发现连数据怎么标、坐标系怎么转都搞不明白走了很多弯路。我的建议是先把系统全貌搞清楚再选一个方向深入这样效率最高。2. 自动驾驶系统的整体架构与核心模块拆解2.1 为什么自动驾驶要分成五大模块把自动驾驶拆成感知、定位、预测、规划、控制五个模块不是为了好看而是因为每个模块解决的问题性质完全不同需要的技术栈也不一样。感知解决的是“周围有什么”定位解决的是“我在哪”预测解决的是“别人接下来要干什么”规划解决的是“我该怎么走”控制解决的是“怎么让车按我想的走”。这五个问题必须分开处理否则系统会变得极其混乱。打个比方这就像你闭着眼睛在菜市场里走路。首先你得睁眼看看周围有什么感知然后你得知道自己站在哪个摊位旁边定位接着你得判断旁边那个人是不是要往你这边走预测然后你决定往左还是往右绕规划最后你的腿和脚执行这个决定控制。任何一个环节慢了或者错了你就撞上了。从工程实现的角度看这种模块化设计还有一个好处每个模块可以独立测试、独立优化、独立替换。比如感知模块从纯视觉方案换成激光雷达加视觉融合方案只要接口定义清楚规划和控制模块基本不用动。这对快速迭代非常关键。2.2 各模块的核心职责与技术栈概览感知模块的核心任务是把传感器原始数据变成结构化的环境描述。输入是摄像头图像、激光雷达点云、毫米波雷达回波输出是障碍物列表、车道线、交通标志、可行驶区域这些信息。主流技术栈是深度学习检测用YOLO系列或者CenterPoint分割用DeepLab或者Segment Anything的变体点云处理用PointPillars或者VoxelNet。这里的关键指标是召回率和延迟漏检一个行人比误检十个塑料袋严重得多。定位模块要回答“我在哪”这个问题精度要求到厘米级。常用方案是RTK加惯性测量单元加激光雷达点云匹配。RTK提供绝对位置惯性测量单元提供高频姿态补充点云匹配提供相对环境的精确位置。三者融合的方式通常用扩展卡尔曼滤波或者因子图优化。定位一旦漂移后面所有模块都白搭所以这个模块的冗余设计特别重要。预测模块负责判断其他交通参与者的未来轨迹。行人会不会突然横穿前车会不会急刹旁边车道的车会不会并线这些都需要预测。主流方法有基于物理模型的轨迹外推、基于行为规划的意图识别、基于神经网络的轨迹生成。实际系统中往往是几种方法融合因为单一方法都有明显的失效场景。规划模块分两层全局路径规划和局部轨迹规划。全局规划用A星或者迪杰斯特拉算法找一条从起点到终点的粗略路径局部规划用模型预测控制或者优化方法生成未来几秒的具体轨迹。规划的核心约束是安全性、舒适性和通行效率三者需要权衡。控制模块把规划出来的轨迹转化成油门、刹车、转向的具体指令。常用算法是PID控制、模型预测控制、线性二次型调节器。控制精度的关键在于车辆动力学模型的准确性不同车型、不同载重、不同路面状况下模型参数都不一样需要做在线辨识和自适应。2.3 模块之间的数据流与接口设计模块划分清楚了接下来最关键的是接口设计。感知输出的是障碍物列表每个障碍物包含位置、速度、加速度、朝向、类别、置信度这些字段。定位输出的是车辆位姿包括位置、姿态角、速度、角速度。预测接收感知和定位的输出生成每个障碍物的未来轨迹预测。规划接收预测结果和地图信息输出本车的未来轨迹。控制接收规划轨迹和当前车辆状态输出执行器指令。接口设计中最容易出问题的是坐标系定义和时间同步。坐标系不统一感知说障碍物在左边规划理解成右边直接撞上去。时间不同步感知用的是100毫秒前的数据控制用的是当前数据轨迹跟踪就会抖动。我的经验是所有模块统一使用车辆后轴中心作为坐标原点所有时间戳统一到同一个时钟源数据传递时带上时间戳和有效期过期数据直接丢弃。注意接口字段一旦确定修改成本极高。前期多花时间讨论清楚比后期改接口划算得多。建议用protobuf或者flatbuffers做序列化版本兼容性好性能也够。3. 感知模块从传感器原始数据到环境理解3.1 摄像头、激光雷达、毫米波雷达各自擅长什么摄像头是最接近人类视觉的传感器分辨率高能识别颜色和纹理交通标志、红绿灯、车道线这些靠摄像头最靠谱。但摄像头受光照影响大逆光、夜间、雨雪天气性能下降明显而且单目摄像头测距精度差需要多帧或者多目才能估计深度。激光雷达直接输出三维点云测距精度到厘米级不受光照影响是构建环境三维结构最可靠的传感器。但激光雷达贵早期机械旋转式激光雷达动辄几十万现在固态激光雷达成本降下来了但依然比摄像头贵不少。另外激光雷达在雨雾天气衰减严重点云会变稀疏。毫米波雷达穿透力强雨雾天气也能工作测速精度高是自适应巡航和自动紧急制动的主力传感器。但毫米波雷达角度分辨率低对静止物体和金属护栏容易误判点云稀疏不适合做精细的环境建模。实际系统中这三种传感器是互补的。摄像头负责语义理解激光雷达负责几何测量毫米波雷达负责全天候测速。融合策略有前融合和后融合两种。前融合是在原始数据层面融合比如把点云投影到图像上做特征对齐信息损失小但实现复杂。后融合是在结果层面融合各自检测完再合并实现简单但信息损失大。目前主流方案是后融合加部分前融合兼顾可靠性和工程可行性。3.2 目标检测与跟踪的实操要点目标检测是感知模块最核心的任务。以摄像头图像上的车辆检测为例实操中需要注意几个关键点。数据标注的质量直接决定模型上限。标注框要贴合目标边缘遮挡情况要标注可见部分并标记遮挡程度截断目标要标注截断比例。我见过太多项目因为标注质量差导致模型性能上不去回头返工标注花的时间比训练模型多好几倍。模型选型要平衡精度和速度。YOLOv8在精度和速度上比较均衡适合车载部署。如果算力充裕可以用更大的模型如果算力紧张可以用MobileNet作为骨干网络的轻量版本。输入分辨率建议不低于640乘640再低小目标就检测不到了。训练时的数据增强很关键。随机裁剪、颜色抖动、马赛克增强这些常规操作之外要特别加入模拟雨雾、模拟夜间、模拟运动模糊的增强因为这些是实际驾驶中常见的场景。另外要加入不同城市的街景数据避免模型过拟合到某个特定城市的视觉特征。跟踪算法常用卡尔曼滤波加匈牙利匹配。卡尔曼滤波预测目标下一帧的位置匈牙利匹配把预测位置和检测结果关联起来。关联时除了位置距离还要考虑外观特征相似度否则目标交叉时容易跟丢。跟踪ID的稳定性很重要频繁跳变的ID会让预测模块无法判断目标意图。3.3 点云处理与多传感器融合的工程细节激光雷达点云处理的第一步是预处理。原始点云包含大量噪声点和地面点需要先做地面分割和噪声滤除。地面分割常用随机采样一致性算法拟合地面平面噪声滤除用统计滤波或者半径滤波。预处理之后点云数量能减少百分之六十到八十大幅降低后续计算量。点云检测常用PointPillars或者VoxelNet。PointPillars把点云划分成垂直柱体每个柱体内的点用PointNet提取特征然后转成二维伪图像用卷积网络检测。这种方法速度快适合实时系统。VoxelNet把点云划分成三维体素用三维卷积处理精度更高但计算量大。实际选型要看算力预算。多传感器融合的标定是另一个关键环节。摄像头和激光雷达的外参标定通常用棋盘格或者特定标定物标定误差要控制在0.1度以内。在线标定可以在车辆行驶过程中自动修正标定参数应对颠簸和温度变化导致的标定漂移。融合时要注意时间同步不同传感器的采样频率不同需要做时间对齐通常用线性插值或者运动补偿。实操心得融合之前先单独调好每个传感器的检测性能融合是锦上添花不是雪中送炭。单个传感器都检测不准融合结果只会更乱。4. 定位与地图厘米级定位是怎么做到的4.1 RTK、惯性测量单元与激光雷达定位的融合逻辑RTK是实时动态差分定位的缩写通过基准站和移动站的载波相位差分把定位精度从米级提升到厘米级。但RTK有几个致命弱点隧道、地下车库、城市峡谷这些地方卫星信号被遮挡RTK直接失效多路径效应会导致定位跳变基准站和移动站距离超过一定范围精度下降。惯性测量单元测量三轴加速度和三轴角速度通过积分得到位置和姿态。优点是输出频率高不受外界环境影响短时间内精度很高。缺点是积分会累积误差几分钟就能漂到几十米外。所以惯性测量单元不能单独用必须和其他传感器融合。激光雷达定位通过点云匹配实现。把当前帧点云和预先构建的高精地图点云做配准用迭代最近点或者正态分布变换算法求出相对位姿。这种定位方式精度高不受卫星信号影响但依赖高精地图地图没覆盖的地方就失效。融合逻辑是这样的RTK提供低频绝对位置惯性测量单元提供高频相对运动激光雷达提供环境约束。用扩展卡尔曼滤波或者因子图优化把三者融合起来输出高频高精度的定位结果。在卫星信号好的地方RTK权重高在隧道里激光雷达和惯性测量单元权重高平滑切换。4.2 高精地图的构建与使用要点高精地图和普通导航地图的区别在于精度和内容。普通导航地图精度到米级只包含道路拓扑和兴趣点。高精地图精度到厘米级包含车道线、路沿、交通标志、信号灯位置、坡度、曲率等详细信息。构建高精地图的流程是采集车搭载激光雷达和组合导航系统采集原始数据然后做点云拼接和优化再人工标注车道线和交通要素最后编译成地图格式。采集车要多次往返同一条路线保证点云密度和覆盖完整性。标注环节最耗时一条一百公里的高速公路标注工作量大概需要几周。使用高精地图时要注意地图的鲜度。道路每天都在变施工、改道、新增标志地图不及时更新就会导致定位和规划出错。实际系统中要有地图更新机制可以是云端推送增量更新也可以是车辆众包发现变化后上报。另外地图匹配时要考虑定位误差不能假设定位完全准确匹配算法要有一定的容错能力。4.3 定位失效场景与冗余设计定位失效是自动驾驶最危险的故障之一。常见的失效场景包括长隧道内卫星信号丢失且激光雷达特征稀疏城市高楼密集区多路径效应导致RTK跳变高精地图未覆盖区域无法做点云匹配极端天气导致激光雷达点云质量下降。冗余设计的思路是多种定位源互为备份并且能检测出哪个源出了问题。具体做法包括至少两套独立的定位系统比如RTK加惯性测量单元一套激光雷达加视觉一套实时监控每个定位源的置信度置信度低于阈值时自动降级降级后要限制自动驾驶功能比如从自动变道降级到车道保持再降级到人工接管。注意定位降级策略要提前设计好不能等失效了再临时决定。降级过程中的过渡要平滑避免突然退出自动驾驶导致驾驶员措手不及。5. 预测、规划与控制让车真正动起来5.1 轨迹预测的常见方法与失效场景轨迹预测要回答的问题是周围每个障碍物在未来几秒内会怎么移动。行人可能突然横穿前车可能急刹旁车可能并线这些都需要预测。基于物理模型的方法假设障碍物保持当前运动状态或者做匀加速运动用卡尔曼滤波外推轨迹。这种方法简单可靠适合高速公路这种交互少的场景。但城市道路中行人会突然转向物理模型预测不准。基于行为规划的方法先识别障碍物的意图比如行人是要过马路还是在路边等人然后根据意图生成轨迹。意图识别可以用隐马尔可夫模型或者神经网络分类器。这种方法的难点在于意图识别本身就不准确而且意图可能随时改变。基于神经网络的方法直接用历史轨迹预测未来轨迹常用长短期记忆网络或者Transformer。这种方法是数据驱动的能学到复杂的交互模式但需要大量训练数据而且可解释性差出了问题不好排查。实际系统中往往是多种方法融合。高速公路用物理模型为主城市道路用神经网络为主同时用规则做安全兜底。比如不管预测结果如何只要障碍物在车辆规划路径的一定范围内就触发保守策略。5.2 局部轨迹规划的约束与优化目标局部轨迹规划要在安全性、舒适性、通行效率之间找平衡。安全性是硬约束不能碰撞不能违反交通规则。舒适性是软约束加速度和 jerk 要限制在合理范围内否则乘客会晕车。通行效率也是软约束不能太慢导致交通拥堵。常用的规划方法是模型预测控制。在预测时域内优化一条轨迹使得代价函数最小。代价函数通常包括偏离参考线的惩罚、速度偏离期望值的惩罚、加速度的惩罚、jerk的惩罚、碰撞风险的惩罚。约束条件包括车辆运动学约束、障碍物避让约束、交通规则约束。优化求解可以用二次规划或者非线性规划。二次规划求解快适合实时系统但只能处理线性约束和二次代价。非线性规划更灵活但求解慢容易陷入局部最优。实际系统中常用二次规划加安全走廊的方法先把非线性的避障约束转化成线性的安全走廊约束再用二次规划求解。5.3 控制模块的参数整定与实车调试控制模块把规划轨迹转化成油门、刹车、转向指令。常用算法是PID和模型预测控制。PID简单可靠但参数整定费时而且对非线性系统效果一般。模型预测控制能处理约束和多变量但计算量大对模型精度要求高。参数整定是控制模块最耗时的环节。以纵向速度控制为例比例系数太大导致超调太小导致响应慢积分系数太大导致振荡太小导致稳态误差微分系数太大导致噪声放大太小导致阻尼不足。整定顺序是先比例、再积分、最后微分每次只调一个参数观察响应曲线。实车调试时要注意几个问题。不同载重下车辆动力学特性不同空载和满载的制动距离能差百分之二十控制参数要能自适应。不同路面附着系数不同冰雪路面的制动距离是干燥路面的三倍以上控制策略要能识别路面状况并调整。传感器延迟和执行器延迟会导致控制滞后需要在控制算法中做延迟补偿。实操心得控制参数没有一套通用的最优值必须实车标定。建议先在仿真环境中粗调再在封闭场地精调最后在开放道路微调。每次调整都要记录参数和对应的响应数据方便回溯。6. 常见问题与排查技巧实录6.1 感知层面的典型故障与排查思路感知模块最常见的故障是漏检和误检。漏检一个行人或者一辆车后果可能是致命的。排查漏检问题时先看训练数据里这类目标多不多如果训练集里夜间行人样本少夜间漏检率必然高。再看模型输入分辨率够不够小目标在低分辨率下就是几个像素检测不出来很正常。最后看后处理阈值是不是设得太高置信度阈值太高会过滤掉一些正确但置信度不高的检测。误检问题通常是训练数据分布不均衡导致的。比如训练集里广告牌上的车图片太多模型就会把广告牌上的车当成真车。解决办法是加入难负样本挖掘把误检的样本加入训练集重新训练。另外可以用多帧时序一致性检查单帧误检在连续多帧中不会持续出现通过时序滤波可以滤除。传感器故障排查要有系统化的流程。摄像头故障先检查曝光和增益是否正常再看图像是否有花屏或者卡顿。激光雷达故障先看点云密度是否正常再看是否有固定角度的盲区。毫米波雷达故障先看回波强度是否正常再看是否有虚假目标。每个传感器都要有健康状态监控故障时及时上报并降级。6.2 规划控制中的抖动与延迟问题处理规划控制中最常见的问题是轨迹抖动和响应延迟。轨迹抖动表现为方向盘来回小幅摆动乘客感觉车在画龙。原因通常是规划模块输出的轨迹不连续或者控制模块的参数整定不当。解决办法是在规划输出后加平滑滤波限制轨迹的曲率变化率同时在控制模块中增加阻尼项。响应延迟表现为车辆对障碍物的反应慢半拍。原因可能是感知延迟、规划计算延迟、控制执行延迟叠加。排查时要分段测量每个模块的耗时找出瓶颈。感知延迟通常是模型推理时间长可以通过模型量化、剪枝、TensorRT加速来优化。规划延迟通常是优化求解时间长可以通过热启动、降低求解精度来优化。控制延迟通常是执行器响应慢可以通过前馈补偿来改善。另一个常见问题是不同模块的时间戳不同步。感知用的是摄像头时间戳规划用的是激光雷达时间戳控制用的是CAN总线时间戳三者不一致会导致轨迹跟踪误差。解决办法是统一时钟源所有模块都用同一个时钟数据传递时带上时间戳接收方根据时间戳做对齐。6.3 常见问题速查表问题现象可能原因排查方法解决措施夜间行人漏检训练集夜间样本不足统计夜间场景检出率补充夜间标注数据加入低光照增强广告牌车辆误检训练集负样本不均衡分析误检样本分布加入难负样本挖掘增加时序滤波定位在隧道内漂移卫星信号丢失点云特征稀疏检查隧道内定位源置信度增强惯性测量单元权重加入视觉里程计轨迹跟踪画龙规划轨迹不连续或控制参数不当记录轨迹曲率和方向盘指令加平滑滤波重新整定控制参数障碍物反应延迟感知或规划计算耗时过长分段测量各模块耗时模型加速优化求解器前馈补偿多传感器融合结果混乱标定误差大或时间不同步检查标定参数和时间戳重新标定统一时钟源高精地图匹配失败地图未更新或定位误差大对比地图和实际道路更新地图放宽匹配容错范围6.4 独家避坑经验分享第一个坑是过度依赖仿真。仿真环境再逼真也和现实有差距传感器噪声模型、光照变化、天气影响都很难完全模拟。我的建议是仿真用来做回归测试和极端场景测试实车测试用来做性能调优和 corner case 发现。仿真通过不代表实车没问题实车没问题才是真的没问题。第二个坑是忽视数据闭环。很多团队模型训练完就完了路上遇到的新场景不收集、不标注、不回流模型永远停留在初始版本。正确的做法是建立数据闭环车端发现置信度低的场景自动上传云端标注后加入训练集模型更新后OTA推送到车端。这个闭环跑起来模型才能持续进化。第三个坑是低估标定的重要性。多传感器融合的效果很大程度上取决于标定精度。标定误差0.5度在50米外就是40多厘米的偏差足以导致融合失败。标定要在恒温环境下做标定后要验证车辆使用过程中要定期复检。在线标定虽然方便但不能完全替代离线标定。第四个坑是安全冗余设计不足。自动驾驶系统必须有冗余传感器冗余、计算冗余、执行器冗余、电源冗余。任何一个单点故障都不能导致系统失效。冗余设计会增加成本和复杂度但这是自动驾驶上路的必要条件。我见过太多项目为了赶进度砍掉冗余设计最后在安全评审时被一票否决。7. 新手入门的学习路径与实操建议如果你是从零开始我建议按这个顺序推进。第一个月先补基础线性代数、概率论、机器学习基础、计算机视觉基础、控制理论基础。不用学到很深但要能看懂论文里的公式和算法流程。同时学Python和CPython用来做实验C用来做工程部署。第二个月开始动手做小项目。用开源数据集比如KITTI或者nuScenes跑通一个目标检测模型从数据加载、模型训练、评估、可视化整个流程走一遍。然后跑通一个点云检测模型理解点云和图像的区别。再跑通一个简单的规划控制仿真用CARLA或者LGSVL让虚拟车沿着路径走起来。第三个月开始深入一个方向。选感知就深入研究检测、分割、跟踪、融合选定位就深入研究RTK、惯性测量单元、点云匹配、地图构建选规划控制就深入研究优化算法、控制理论、车辆动力学。深入的标准是能复现顶会论文能自己设计实验验证想法能定位和解决实际问题。第四个月开始接触实车或者实车数据。如果有条件参与实车项目最好没有的话用公开的实车数据集做离线实验。重点理解实车和仿真的差异传感器噪声、时间同步、标定误差、计算资源限制、安全约束。这些是在仿真里永远学不到的。最后分享一个我个人的体会自动驾驶这个领域理论重要但工程实践更重要。很多问题不是算法不够先进而是工程实现不够扎实。标定做没做好时间同步做没做好异常处理做没做好这些细节决定系统能不能真正跑起来。所以不要只盯着模型精度多花时间在系统工程上回报会更大。 
长河君 · 2026/10/14 21:48:46 · 阅读 1.2k 自动驾驶系统入门：五大核心模块架构与工程实践指南
1. 自动驾驶入门指南从零开始理解这套系统到底怎么跑起来的如果你最近在关注智能汽车、机器人或者人工智能落地的方向大概率绕不开“自动驾驶”这四个字。但很多人对这个领域的认知停留在“车自己会开”这个层面再往下问一层——它到底怎么感知世界、怎么做决策、怎么控制方向盘和刹车——就说不太清楚了。我写这篇东西的初衷很简单把自动驾驶这套系统拆开用从业者的视角讲清楚它的核心模块、技术选型逻辑、实操中会踩的坑以及一个新手如果想入门应该按什么顺序去学、去练。这篇文章适合几类人看。第一类是对自动驾驶感兴趣但完全没有基础的开发者想搞清楚这个领域到底涉及哪些技术栈第二类是有一定编程基础、想往这个方向转型的工程师需要一份可落地的学习路径和实操参考第三类是做产品或者项目管理的朋友需要理解自动驾驶系统的能力边界和关键参数方便做判断和沟通。不管你是哪一类我都会尽量用生活化的类比把复杂概念讲透同时给出可以直接参考的参数、步骤和排查方法。先说一个基本认知自动驾驶不是一个单一技术它是一整套系统工程。感知、定位、预测、规划、控制这五个模块环环相扣任何一个环节出问题整个系统就不可靠。很多人一开始就扎进深度学习模型里结果发现连数据怎么标、坐标系怎么转都搞不明白走了很多弯路。我的建议是先把系统全貌搞清楚再选一个方向深入这样效率最高。2. 自动驾驶系统的整体架构与核心模块拆解2.1 为什么自动驾驶要分成五大模块把自动驾驶拆成感知、定位、预测、规划、控制五个模块不是为了好看而是因为每个模块解决的问题性质完全不同需要的技术栈也不一样。感知解决的是“周围有什么”定位解决的是“我在哪”预测解决的是“别人接下来要干什么”规划解决的是“我该怎么走”控制解决的是“怎么让车按我想的走”。这五个问题必须分开处理否则系统会变得极其混乱。打个比方这就像你闭着眼睛在菜市场里走路。首先你得睁眼看看周围有什么感知然后你得知道自己站在哪个摊位旁边定位接着你得判断旁边那个人是不是要往你这边走预测然后你决定往左还是往右绕规划最后你的腿和脚执行这个决定控制。任何一个环节慢了或者错了你就撞上了。从工程实现的角度看这种模块化设计还有一个好处每个模块可以独立测试、独立优化、独立替换。比如感知模块从纯视觉方案换成激光雷达加视觉融合方案只要接口定义清楚规划和控制模块基本不用动。这对快速迭代非常关键。2.2 各模块的核心职责与技术栈概览感知模块的核心任务是把传感器原始数据变成结构化的环境描述。输入是摄像头图像、激光雷达点云、毫米波雷达回波输出是障碍物列表、车道线、交通标志、可行驶区域这些信息。主流技术栈是深度学习检测用YOLO系列或者CenterPoint分割用DeepLab或者Segment Anything的变体点云处理用PointPillars或者VoxelNet。这里的关键指标是召回率和延迟漏检一个行人比误检十个塑料袋严重得多。定位模块要回答“我在哪”这个问题精度要求到厘米级。常用方案是RTK加惯性测量单元加激光雷达点云匹配。RTK提供绝对位置惯性测量单元提供高频姿态补充点云匹配提供相对环境的精确位置。三者融合的方式通常用扩展卡尔曼滤波或者因子图优化。定位一旦漂移后面所有模块都白搭所以这个模块的冗余设计特别重要。预测模块负责判断其他交通参与者的未来轨迹。行人会不会突然横穿前车会不会急刹旁边车道的车会不会并线这些都需要预测。主流方法有基于物理模型的轨迹外推、基于行为规划的意图识别、基于神经网络的轨迹生成。实际系统中往往是几种方法融合因为单一方法都有明显的失效场景。规划模块分两层全局路径规划和局部轨迹规划。全局规划用A星或者迪杰斯特拉算法找一条从起点到终点的粗略路径局部规划用模型预测控制或者优化方法生成未来几秒的具体轨迹。规划的核心约束是安全性、舒适性和通行效率三者需要权衡。控制模块把规划出来的轨迹转化成油门、刹车、转向的具体指令。常用算法是PID控制、模型预测控制、线性二次型调节器。控制精度的关键在于车辆动力学模型的准确性不同车型、不同载重、不同路面状况下模型参数都不一样需要做在线辨识和自适应。2.3 模块之间的数据流与接口设计模块划分清楚了接下来最关键的是接口设计。感知输出的是障碍物列表每个障碍物包含位置、速度、加速度、朝向、类别、置信度这些字段。定位输出的是车辆位姿包括位置、姿态角、速度、角速度。预测接收感知和定位的输出生成每个障碍物的未来轨迹预测。规划接收预测结果和地图信息输出本车的未来轨迹。控制接收规划轨迹和当前车辆状态输出执行器指令。接口设计中最容易出问题的是坐标系定义和时间同步。坐标系不统一感知说障碍物在左边规划理解成右边直接撞上去。时间不同步感知用的是100毫秒前的数据控制用的是当前数据轨迹跟踪就会抖动。我的经验是所有模块统一使用车辆后轴中心作为坐标原点所有时间戳统一到同一个时钟源数据传递时带上时间戳和有效期过期数据直接丢弃。注意接口字段一旦确定修改成本极高。前期多花时间讨论清楚比后期改接口划算得多。建议用protobuf或者flatbuffers做序列化版本兼容性好性能也够。3. 感知模块从传感器原始数据到环境理解3.1 摄像头、激光雷达、毫米波雷达各自擅长什么摄像头是最接近人类视觉的传感器分辨率高能识别颜色和纹理交通标志、红绿灯、车道线这些靠摄像头最靠谱。但摄像头受光照影响大逆光、夜间、雨雪天气性能下降明显而且单目摄像头测距精度差需要多帧或者多目才能估计深度。激光雷达直接输出三维点云测距精度到厘米级不受光照影响是构建环境三维结构最可靠的传感器。但激光雷达贵早期机械旋转式激光雷达动辄几十万现在固态激光雷达成本降下来了但依然比摄像头贵不少。另外激光雷达在雨雾天气衰减严重点云会变稀疏。毫米波雷达穿透力强雨雾天气也能工作测速精度高是自适应巡航和自动紧急制动的主力传感器。但毫米波雷达角度分辨率低对静止物体和金属护栏容易误判点云稀疏不适合做精细的环境建模。实际系统中这三种传感器是互补的。摄像头负责语义理解激光雷达负责几何测量毫米波雷达负责全天候测速。融合策略有前融合和后融合两种。前融合是在原始数据层面融合比如把点云投影到图像上做特征对齐信息损失小但实现复杂。后融合是在结果层面融合各自检测完再合并实现简单但信息损失大。目前主流方案是后融合加部分前融合兼顾可靠性和工程可行性。3.2 目标检测与跟踪的实操要点目标检测是感知模块最核心的任务。以摄像头图像上的车辆检测为例实操中需要注意几个关键点。数据标注的质量直接决定模型上限。标注框要贴合目标边缘遮挡情况要标注可见部分并标记遮挡程度截断目标要标注截断比例。我见过太多项目因为标注质量差导致模型性能上不去回头返工标注花的时间比训练模型多好几倍。模型选型要平衡精度和速度。YOLOv8在精度和速度上比较均衡适合车载部署。如果算力充裕可以用更大的模型如果算力紧张可以用MobileNet作为骨干网络的轻量版本。输入分辨率建议不低于640乘640再低小目标就检测不到了。训练时的数据增强很关键。随机裁剪、颜色抖动、马赛克增强这些常规操作之外要特别加入模拟雨雾、模拟夜间、模拟运动模糊的增强因为这些是实际驾驶中常见的场景。另外要加入不同城市的街景数据避免模型过拟合到某个特定城市的视觉特征。跟踪算法常用卡尔曼滤波加匈牙利匹配。卡尔曼滤波预测目标下一帧的位置匈牙利匹配把预测位置和检测结果关联起来。关联时除了位置距离还要考虑外观特征相似度否则目标交叉时容易跟丢。跟踪ID的稳定性很重要频繁跳变的ID会让预测模块无法判断目标意图。3.3 点云处理与多传感器融合的工程细节激光雷达点云处理的第一步是预处理。原始点云包含大量噪声点和地面点需要先做地面分割和噪声滤除。地面分割常用随机采样一致性算法拟合地面平面噪声滤除用统计滤波或者半径滤波。预处理之后点云数量能减少百分之六十到八十大幅降低后续计算量。点云检测常用PointPillars或者VoxelNet。PointPillars把点云划分成垂直柱体每个柱体内的点用PointNet提取特征然后转成二维伪图像用卷积网络检测。这种方法速度快适合实时系统。VoxelNet把点云划分成三维体素用三维卷积处理精度更高但计算量大。实际选型要看算力预算。多传感器融合的标定是另一个关键环节。摄像头和激光雷达的外参标定通常用棋盘格或者特定标定物标定误差要控制在0.1度以内。在线标定可以在车辆行驶过程中自动修正标定参数应对颠簸和温度变化导致的标定漂移。融合时要注意时间同步不同传感器的采样频率不同需要做时间对齐通常用线性插值或者运动补偿。实操心得融合之前先单独调好每个传感器的检测性能融合是锦上添花不是雪中送炭。单个传感器都检测不准融合结果只会更乱。4. 定位与地图厘米级定位是怎么做到的4.1 RTK、惯性测量单元与激光雷达定位的融合逻辑RTK是实时动态差分定位的缩写通过基准站和移动站的载波相位差分把定位精度从米级提升到厘米级。但RTK有几个致命弱点隧道、地下车库、城市峡谷这些地方卫星信号被遮挡RTK直接失效多路径效应会导致定位跳变基准站和移动站距离超过一定范围精度下降。惯性测量单元测量三轴加速度和三轴角速度通过积分得到位置和姿态。优点是输出频率高不受外界环境影响短时间内精度很高。缺点是积分会累积误差几分钟就能漂到几十米外。所以惯性测量单元不能单独用必须和其他传感器融合。激光雷达定位通过点云匹配实现。把当前帧点云和预先构建的高精地图点云做配准用迭代最近点或者正态分布变换算法求出相对位姿。这种定位方式精度高不受卫星信号影响但依赖高精地图地图没覆盖的地方就失效。融合逻辑是这样的RTK提供低频绝对位置惯性测量单元提供高频相对运动激光雷达提供环境约束。用扩展卡尔曼滤波或者因子图优化把三者融合起来输出高频高精度的定位结果。在卫星信号好的地方RTK权重高在隧道里激光雷达和惯性测量单元权重高平滑切换。4.2 高精地图的构建与使用要点高精地图和普通导航地图的区别在于精度和内容。普通导航地图精度到米级只包含道路拓扑和兴趣点。高精地图精度到厘米级包含车道线、路沿、交通标志、信号灯位置、坡度、曲率等详细信息。构建高精地图的流程是采集车搭载激光雷达和组合导航系统采集原始数据然后做点云拼接和优化再人工标注车道线和交通要素最后编译成地图格式。采集车要多次往返同一条路线保证点云密度和覆盖完整性。标注环节最耗时一条一百公里的高速公路标注工作量大概需要几周。使用高精地图时要注意地图的鲜度。道路每天都在变施工、改道、新增标志地图不及时更新就会导致定位和规划出错。实际系统中要有地图更新机制可以是云端推送增量更新也可以是车辆众包发现变化后上报。另外地图匹配时要考虑定位误差不能假设定位完全准确匹配算法要有一定的容错能力。4.3 定位失效场景与冗余设计定位失效是自动驾驶最危险的故障之一。常见的失效场景包括长隧道内卫星信号丢失且激光雷达特征稀疏城市高楼密集区多路径效应导致RTK跳变高精地图未覆盖区域无法做点云匹配极端天气导致激光雷达点云质量下降。冗余设计的思路是多种定位源互为备份并且能检测出哪个源出了问题。具体做法包括至少两套独立的定位系统比如RTK加惯性测量单元一套激光雷达加视觉一套实时监控每个定位源的置信度置信度低于阈值时自动降级降级后要限制自动驾驶功能比如从自动变道降级到车道保持再降级到人工接管。注意定位降级策略要提前设计好不能等失效了再临时决定。降级过程中的过渡要平滑避免突然退出自动驾驶导致驾驶员措手不及。5. 预测、规划与控制让车真正动起来5.1 轨迹预测的常见方法与失效场景轨迹预测要回答的问题是周围每个障碍物在未来几秒内会怎么移动。行人可能突然横穿前车可能急刹旁车可能并线这些都需要预测。基于物理模型的方法假设障碍物保持当前运动状态或者做匀加速运动用卡尔曼滤波外推轨迹。这种方法简单可靠适合高速公路这种交互少的场景。但城市道路中行人会突然转向物理模型预测不准。基于行为规划的方法先识别障碍物的意图比如行人是要过马路还是在路边等人然后根据意图生成轨迹。意图识别可以用隐马尔可夫模型或者神经网络分类器。这种方法的难点在于意图识别本身就不准确而且意图可能随时改变。基于神经网络的方法直接用历史轨迹预测未来轨迹常用长短期记忆网络或者Transformer。这种方法是数据驱动的能学到复杂的交互模式但需要大量训练数据而且可解释性差出了问题不好排查。实际系统中往往是多种方法融合。高速公路用物理模型为主城市道路用神经网络为主同时用规则做安全兜底。比如不管预测结果如何只要障碍物在车辆规划路径的一定范围内就触发保守策略。5.2 局部轨迹规划的约束与优化目标局部轨迹规划要在安全性、舒适性、通行效率之间找平衡。安全性是硬约束不能碰撞不能违反交通规则。舒适性是软约束加速度和 jerk 要限制在合理范围内否则乘客会晕车。通行效率也是软约束不能太慢导致交通拥堵。常用的规划方法是模型预测控制。在预测时域内优化一条轨迹使得代价函数最小。代价函数通常包括偏离参考线的惩罚、速度偏离期望值的惩罚、加速度的惩罚、jerk的惩罚、碰撞风险的惩罚。约束条件包括车辆运动学约束、障碍物避让约束、交通规则约束。优化求解可以用二次规划或者非线性规划。二次规划求解快适合实时系统但只能处理线性约束和二次代价。非线性规划更灵活但求解慢容易陷入局部最优。实际系统中常用二次规划加安全走廊的方法先把非线性的避障约束转化成线性的安全走廊约束再用二次规划求解。5.3 控制模块的参数整定与实车调试控制模块把规划轨迹转化成油门、刹车、转向指令。常用算法是PID和模型预测控制。PID简单可靠但参数整定费时而且对非线性系统效果一般。模型预测控制能处理约束和多变量但计算量大对模型精度要求高。参数整定是控制模块最耗时的环节。以纵向速度控制为例比例系数太大导致超调太小导致响应慢积分系数太大导致振荡太小导致稳态误差微分系数太大导致噪声放大太小导致阻尼不足。整定顺序是先比例、再积分、最后微分每次只调一个参数观察响应曲线。实车调试时要注意几个问题。不同载重下车辆动力学特性不同空载和满载的制动距离能差百分之二十控制参数要能自适应。不同路面附着系数不同冰雪路面的制动距离是干燥路面的三倍以上控制策略要能识别路面状况并调整。传感器延迟和执行器延迟会导致控制滞后需要在控制算法中做延迟补偿。实操心得控制参数没有一套通用的最优值必须实车标定。建议先在仿真环境中粗调再在封闭场地精调最后在开放道路微调。每次调整都要记录参数和对应的响应数据方便回溯。6. 常见问题与排查技巧实录6.1 感知层面的典型故障与排查思路感知模块最常见的故障是漏检和误检。漏检一个行人或者一辆车后果可能是致命的。排查漏检问题时先看训练数据里这类目标多不多如果训练集里夜间行人样本少夜间漏检率必然高。再看模型输入分辨率够不够小目标在低分辨率下就是几个像素检测不出来很正常。最后看后处理阈值是不是设得太高置信度阈值太高会过滤掉一些正确但置信度不高的检测。误检问题通常是训练数据分布不均衡导致的。比如训练集里广告牌上的车图片太多模型就会把广告牌上的车当成真车。解决办法是加入难负样本挖掘把误检的样本加入训练集重新训练。另外可以用多帧时序一致性检查单帧误检在连续多帧中不会持续出现通过时序滤波可以滤除。传感器故障排查要有系统化的流程。摄像头故障先检查曝光和增益是否正常再看图像是否有花屏或者卡顿。激光雷达故障先看点云密度是否正常再看是否有固定角度的盲区。毫米波雷达故障先看回波强度是否正常再看是否有虚假目标。每个传感器都要有健康状态监控故障时及时上报并降级。6.2 规划控制中的抖动与延迟问题处理规划控制中最常见的问题是轨迹抖动和响应延迟。轨迹抖动表现为方向盘来回小幅摆动乘客感觉车在画龙。原因通常是规划模块输出的轨迹不连续或者控制模块的参数整定不当。解决办法是在规划输出后加平滑滤波限制轨迹的曲率变化率同时在控制模块中增加阻尼项。响应延迟表现为车辆对障碍物的反应慢半拍。原因可能是感知延迟、规划计算延迟、控制执行延迟叠加。排查时要分段测量每个模块的耗时找出瓶颈。感知延迟通常是模型推理时间长可以通过模型量化、剪枝、TensorRT加速来优化。规划延迟通常是优化求解时间长可以通过热启动、降低求解精度来优化。控制延迟通常是执行器响应慢可以通过前馈补偿来改善。另一个常见问题是不同模块的时间戳不同步。感知用的是摄像头时间戳规划用的是激光雷达时间戳控制用的是CAN总线时间戳三者不一致会导致轨迹跟踪误差。解决办法是统一时钟源所有模块都用同一个时钟数据传递时带上时间戳接收方根据时间戳做对齐。6.3 常见问题速查表问题现象可能原因排查方法解决措施夜间行人漏检训练集夜间样本不足统计夜间场景检出率补充夜间标注数据加入低光照增强广告牌车辆误检训练集负样本不均衡分析误检样本分布加入难负样本挖掘增加时序滤波定位在隧道内漂移卫星信号丢失点云特征稀疏检查隧道内定位源置信度增强惯性测量单元权重加入视觉里程计轨迹跟踪画龙规划轨迹不连续或控制参数不当记录轨迹曲率和方向盘指令加平滑滤波重新整定控制参数障碍物反应延迟感知或规划计算耗时过长分段测量各模块耗时模型加速优化求解器前馈补偿多传感器融合结果混乱标定误差大或时间不同步检查标定参数和时间戳重新标定统一时钟源高精地图匹配失败地图未更新或定位误差大对比地图和实际道路更新地图放宽匹配容错范围6.4 独家避坑经验分享第一个坑是过度依赖仿真。仿真环境再逼真也和现实有差距传感器噪声模型、光照变化、天气影响都很难完全模拟。我的建议是仿真用来做回归测试和极端场景测试实车测试用来做性能调优和 corner case 发现。仿真通过不代表实车没问题实车没问题才是真的没问题。第二个坑是忽视数据闭环。很多团队模型训练完就完了路上遇到的新场景不收集、不标注、不回流模型永远停留在初始版本。正确的做法是建立数据闭环车端发现置信度低的场景自动上传云端标注后加入训练集模型更新后OTA推送到车端。这个闭环跑起来模型才能持续进化。第三个坑是低估标定的重要性。多传感器融合的效果很大程度上取决于标定精度。标定误差0.5度在50米外就是40多厘米的偏差足以导致融合失败。标定要在恒温环境下做标定后要验证车辆使用过程中要定期复检。在线标定虽然方便但不能完全替代离线标定。第四个坑是安全冗余设计不足。自动驾驶系统必须有冗余传感器冗余、计算冗余、执行器冗余、电源冗余。任何一个单点故障都不能导致系统失效。冗余设计会增加成本和复杂度但这是自动驾驶上路的必要条件。我见过太多项目为了赶进度砍掉冗余设计最后在安全评审时被一票否决。7. 新手入门的学习路径与实操建议如果你是从零开始我建议按这个顺序推进。第一个月先补基础线性代数、概率论、机器学习基础、计算机视觉基础、控制理论基础。不用学到很深但要能看懂论文里的公式和算法流程。同时学Python和CPython用来做实验C用来做工程部署。第二个月开始动手做小项目。用开源数据集比如KITTI或者nuScenes跑通一个目标检测模型从数据加载、模型训练、评估、可视化整个流程走一遍。然后跑通一个点云检测模型理解点云和图像的区别。再跑通一个简单的规划控制仿真用CARLA或者LGSVL让虚拟车沿着路径走起来。第三个月开始深入一个方向。选感知就深入研究检测、分割、跟踪、融合选定位就深入研究RTK、惯性测量单元、点云匹配、地图构建选规划控制就深入研究优化算法、控制理论、车辆动力学。深入的标准是能复现顶会论文能自己设计实验验证想法能定位和解决实际问题。第四个月开始接触实车或者实车数据。如果有条件参与实车项目最好没有的话用公开的实车数据集做离线实验。重点理解实车和仿真的差异传感器噪声、时间同步、标定误差、计算资源限制、安全约束。这些是在仿真里永远学不到的。最后分享一个我个人的体会自动驾驶这个领域理论重要但工程实践更重要。很多问题不是算法不够先进而是工程实现不够扎实。标定做没做好时间同步做没做好异常处理做没做好这些细节决定系统能不能真正跑起来。所以不要只盯着模型精度多花时间在系统工程上回报会更大。