简介一套面向毕业设计、课程设计与项目开发者的辅助驾驶工程针对传统车道线检测鲁棒性较差的问题结合YOLOV7目标检测与DeepLabv3语义分割算法训练模型实现车载摄像头道路识别并语音告知车道偏离、前后方车距等驾驶信息。压缩包共32个文件其中13个Python脚本为主要程序12个pyc为编译缓存3个txt为说明文档2张jpg为测试图片另有ttf字体与md项目说明整体约4.99MB目录结构清晰。已有320人学习下载适合需要快速上手深度学习视觉项目的读者。源码已经过严格测试可放心参考项目内按Yolov7、deeplabv3、Lane_line等模块划分包含main.py、GUI.py、lane.py、deeplab.py等关键代码可直接运行验证识别效果。内置白天道路与夜间图像测试样例便于对比不同光照条件下的识别表现也适合在原有模型与界面基础上二次开发。1. 从“两个模型”入手看清驾驶辅助系统里的视觉分工车载摄像头画面里同时发生着很多事前方有车、隔壁车道有车、车道线在前方分叉、人行道边缘有行人。任何一个单一模型都很难同时处理好“目标存在性”和“区域语义”这两类完全不同的问题。目标检测模型擅长回答“那里有个什么物体、框在哪”语义分割模型擅长回答“这一片像素属于哪类路面结构”。标题把 YOLOv7 和 DeepLabv3 摆在一起本质上是把道路识别拆成了“目标感知”与“几何理解”两条流水线。本文会沿着“摄像头采集 → 双路推理 → 几何判定 → 语音输出”这条链路把车道偏离判定、前后车距估算、语音播报防抖的实现方式一层层剥开方便正好在做车载视觉原型、或准备把已有模型往辅助驾驶场景迁移的工程师对照落地。2. YOLOv7与DeepLabv3的任务边界检测和分割为什么要并存2.1 道路识别里的三个子任务辅助驾驶场景里的“道路识别”不是单一任务。常见的做法是先拆成三个子问题可行驶区域哪些像素是路面、哪些是路肩或障碍物这是给车辆控制用的安全边界车道线结构左右车道线在哪、曲率多大、车辆是否偏离车道中心这是判断是否压线或跑偏的依据前方目标状态前车距离、行人位置、是否有制动灯亮起这些用于跟车和碰撞预警。可行驶区域和车道线是稠密像素级的判断目标状态是稀疏目标级的判断。语义分割输出的是 mask天然适合区域理解目标检测输出的是框和类别适合追踪目标位置变化。两个模型并发处理再把结果做几何融合是当前车载视觉原型里比较稳妥的工程结构尤其是在算力允许的中高端工控机或 Jeston 设备上。2.2 YOLOv7负责“有没有东西”YOLOv7 是典型的 anchor-based 检测器在实时性上很吃得开。它在架构上用了扩展ELAN 模块来加深特征复用训练侧则把大量不增加推理代价的技巧如辅助头、粗标签分配打包进训练流程所以在 COCO 上能以较高的 FPS 换到不错的 mAP。它最终输出的是目标框坐标、类别ID和置信度对画面里的车辆、行人、骑行者的存在性判断很直接也容易接着做 IoU 匹配和测距。工程上我会用 torch.hub 加载官方预训练权重然后按需把类别过滤到 car、truck、bus、person 等和目标相关的类。如果手头有 BDD100K 之类的驾驶数据集也可以只用其中的目标检测子集做一次微调让模型更适应车载视角下的小目标分布。2.3 DeepLabv3负责“路面结构”DeepLabv3 是语义分割里很经典的 encoder-decoder 结构。它用空洞卷积金字塔ASPP在不同膨胀率下并行采样解决多尺度目标的分割问题decoder 侧再把高层语义和浅层边缘信息拼接恢复出更细的边界。它的输出是单个张量可理解成“每个像素属于某个类别的概率分布”。在道路场景里最常见的做法是用 Cityscapes 预训练权重做初始化。Cityscapes 的类别包括道路、人行道、车辆、行人等可以直接提取道路 mask但有实际项目经验的人会提醒你Cityscapes 里没有独立的“车道线”类别。想获得车道线像素要么在 BDD100K 上对分割头做微调让模型多学一个 lane 类要么在道路 mask 上做边缘提取用几何方法近似出车道位置。两种路径都能走区别是微调出来的车道线更稳边缘提取实现更省事。2.4 两个模型在管线里的角色对照维度YOLOv7DeepLabv3任务类型目标检测语义分割输出格式矩形框 类别 置信度与输入等大的类别索引图典型预训练COCO80类Cityscapes19类本场景职责前车/行人/骑行者定位可行驶区域与车道线提取计算特点推理快适合每帧执行显存占用偏高可隔帧执行后续处理结合底部像素位置测距结合鸟瞰变换算偏离量拿一张画面同时喂给两个模型输出各取所需互不干扰这就是“检测 分割”双流架构的基本形态。接下来的章节里我会直接跑一个最小可用的推理骨架让两个模型在同一个 Python 进程里同时工作。3. 用Python让YOLOv7与DeepLabv3在本地跑通双模型推理3.1 环境准备Python版本、PyTorch与VSCode配置做这个项目之前先把 Python 环境理干净。我的建议是 Python 3.8 到 3.10 之间PyTorch 选 1.13 或更新版本CUDA 按显卡驱动来。Windows 下经常听到“python was not found; run without arguments to install from the Microsoft Store”的提示本质就是 PATH 没配好或 Python 没安装装完勾选 Add Python to PATH 即可解决。新建独立环境再干活避免污染系统库python -m venv vdrive_env source vdrive_env/bin/activate # Windows: vdrive_env\Scripts\activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python numpy pyttsx3 --index-url https://pypi.tuna.tsinghua.edu.cn/simple参数说明--index-url指定 PyTorch 的官方 wheel 源--extra-index-url或直接换清华源可以加速其余依赖下载国内网络环境下推荐把 pip 的默认源换成清华或阿里云。VSCode 用户记得用CtrlShiftP选择解释器指向vdrive_env里的 python.exe否则终端里装好的包在编辑器中全部无法导入。3.2 双模型前向推理的最小骨架YOLOv7 用torch.hub加载官方仓库权重DeepLabv3 用 torchvision 里的 Cityscapes 预训练版本。摄像头或视频逐帧读取后统一缩放再送入两个模型。import torch import cv2 import numpy as np yolo torch.hub.load(WongKinYiu/yolov7, yolov7, pretrainedTrue).cuda() yolo.conf 0.5 # 检测置信度阈值 yolo.iou 0.45 # NMS IoU 阈值 seg_model torch.hub.load(pytorch/vision, deeplabv3_resnet101, weightsDeepLabV3_ResNet101_Weights.DEEPLABV3_RESNET101_CITYSCAPES) seg_model.eval().cuda() cap cv2.VideoCapture(road.mp4) while cap.isOpened(): ok, frame cap.read() if not ok: break # 检测分支直接吃 BGR 帧 det yolo(frame[:, :, ::-1]) # YOLOv7 内部会处理色彩通道 # 分割分支标准化后转 tensor img cv2.resize(frame, (512, 256)) rgb img[:, :, ::-1] / 255.0 rgb (rgb - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] x torch.from_numpy(rgb.transpose(2, 0, 1)).unsqueeze(0).float().cuda() with torch.no_grad(): out seg_model(x)[out] # 形状 (1, 19, 256, 512) mask out.argmax(dim1).squeeze(0).cpu().numpy() # mask 中 class_id0 是道路车辆检测框从 det 中解析 # 此时可以进入第 4 章的几何判定也可先画出来看效果 cv2.imshow(drive, frame) if cv2.waitKey(1) 0xFF ord(q): break逻辑说明YOLOv7 的torch.hub加载方式会返回一个已配置好参数的 Detect 模型输入可以是 BGR 的 numpy 数组分割模型则要求先归一化到 ImageNet 均值和标准差输出的是一个 19 通道的概率图argmax之后得到每个像素的类别 ID。代码里cap.read()的帧率为视频帧率但双模型推理会拖慢循环实际帧率会明显低于视频原始帧率。3.3 帧率不足时的三个处理手段嵌入式平台跑双模型经常遇到 FPS 不足的问题。常见的做法是手段说明适合场景隔帧执行分割检测每帧跑分割每 2~3 帧跑一次道路结构变化慢分割结果短暂滞后影响小切换到 TensorRT 引擎把两个模型都导出 ONNX 再转 TensorRT INT8有 GPU 且需要稳定 30 FPS 时放大输入下采样倍数分割分支从 512x256 降到 384x192算力紧张允许边缘粗糙时目的是先把“双模型能在一条流水线上跑起来”这件事打通性能优化可以在第 6 章再谈。要想看清每一帧里掩码和检测框是否正确可以先把画面显示出来确认基本功能再逐步加回几何计算。4. 车道偏离判定与前后方车距估算的几何计算4.1 从分割掩码中提取车道线像素拿到分割 mask 后先把道路区域提取出来。如果分割模型没有被微调过 lane 类就用道路 mask 的边缘近似车道位置如果微调过直接取对应类别的像素索引即可。road_mask np.where(mask 0, 255, 0).astype(np.uint8) # Cityscapes 中 class_id0 是 road # 只保留摄像头画面下半部分避免天空和远处干扰计算 h, w road_mask.shape lower road_mask[int(h * 0.5):, :] # 分左右两部分统计像素重心得到左右车道带 left_zone lower[:, :w // 2] right_zone lower[:, w // 2:] left_pts np.column_stack(np.where(left_zone 0)) right_pts np.column_stack(np.where(right_zone 0))逻辑说明np.where返回的是掩码中所有非零像素的行列坐标column_stack把它们拼成坐标点集。左右分区是为了后续把车道中心与图像中心的偏移计算出来。边界条件是极端光照、逆光或车道线磨损会导致分割断裂下一步的鸟瞰变换和拟合能缓解一部分。4.2 用鸟瞰变换把车道中心拉成可量化的偏移量摄像头是斜向下看的画面中车道线是透视关系直接算像素偏移不直观。工程上的标准做法是把画面底部区域投影成鸟瞰图再计算左右车道线的平均位置。src_pts np.float32([[w * 0.4, h * 0.6], [w * 0.6, h * 0.6], [w * 0.1, h * 0.95], [w * 0.9, h * 0.95]]) dst_pts np.float32([[w * 0.25, 0], [w * 0.75, 0], [w * 0.25, h * 0.8], [w * 0.75, h * 0.8]]) M cv2.getPerspectiveTransform(src_pts, dst_pts) bird cv2.warpPerspective(road_mask, M, (w, h)) # 在鸟瞰图中逐行统计左右车道位置 centers [] for row in range(bird.shape[0] // 2, bird.shape[0]): indices np.where(bird[row, :] 0)[0] if len(indices) 20: centers.append((row, indices.mean()))逻辑说明getPerspectiveTransform需要 4 组对应点四边形的选择依赖摄像头的安装位置。这里假设车道线在图中下部一个梯形范围内变换后让车道线在鸟瞰图中基本平行。centers记录了每一行上车道的横向中心位置稳定的中心点序列可以直接判断车辆是否偏离。偏移比例的计算公式是offset_ratio (lane_center - image_center) / image_width其中lane_center是最近若干行车道中心的均值image_center是图像宽度的一半。当偏移比例超过阈值比如 0.03即可视为有偏离倾向。阈值太小会频繁报警太大则失去预警意义后面第 5 章还会结合播报去抖处理。4.3 基于地面投影的单目测距公式与标定方法测距是单目摄像头最容易被问的环节。最稳妥的办法不是直接从深度学习输出距离而是利用“物体底部接地”这一物理约束。假设摄像头固定高度、与地面平行前车接地点的像素行坐标与真实距离近似满足distance focal * camera_height / (y_bottom - y_horizon)其中focal是焦距的像素单位camera_height是摄像头离地面的高度y_bottom是检测框底边的 y 坐标y_horizon是地平线在图像中的 y 坐标。实际项目里更省事的是把focal * camera_height当作一个常数 C用已知距离去标定。def calibrate_c(): data [] # 每项为 (distance, y_bottom, y_horizon) for d, yb, yh in data: data.append((d, yb - yh)) c np.mean([d * dy for d, dy in data]) return c def estimate_distance(y_bottom, y_horizon, C): dy y_bottom - y_horizon if dy 0: return float(inf) return C / dy逻辑说明calibrate_c把多次已知距离下的像素差收集起来用乘积取平均得到常数 C。运行时只需测一次y_bottom - y_horizon就能换算出距离。这个方法的前提是路面平直车辆正对前方坡道和转弯都会让结果偏差增大。标定点是实际车辆前置摄像头画面里车头保险杠与道路接触的位置不是图像正中心。5. 语音告知模块离线TTS与播报去抖5.1 离线语音合成pyttsx3与系统API的选择辅助驾驶场景里语音提示必须离线、低延迟。pyttsx3 是 Python 里较常用的离线 TTS 库Windows 上底层走 SAPI 语音接口Linux 上走 espeak都不依赖网络。发音引擎选择会影响音色和中文支持度Windows 下可先查看系统已安装的语音包。import pyttsx3 engine pyttsx3.init() engine.setProperty(rate, 170) # 语速词/分钟太快会听不清关键信息 engine.say(前方有障碍物注意保持车距) engine.runAndWait()逻辑说明init()会调用系统默认语音引擎setProperty(rate)控制语速170 适合车载噪声环境。建议把播报内容分成短句不要一次性把偏离和车距压缩在同一句话里否则车内乘客很难抓住重点。5.2 用优先级队列合并三类提示语车载播报需要区分轻重缓急。常见做法是建一个优先级队列把“前车距离过近”设为最高优先级把“车道轻微偏移”设为普通优先级import queue import threading class VoiceDispatcher: def __init__(self): self.q queue.PriorityQueue() threading.Thread(targetself._run, daemonTrue).start() def push(self, priority, text): self.q.put((priority, text)) def _run(self): while True: _, text self.q.get() engine.say(text) engine.runAndWait() voice VoiceDispatcher() voice.push(1, 前车距离太近) # 优先级 1 最高 voice.push(3, 车辆轻微向右偏离)逻辑说明PriorityQueue保证高优先级文本先被消费engine.say与runAndWait是阻塞操作后台线程避免阻塞主推理循环。文档里要留意如果推入的优先级数字越小代表越优先1 级留给紧急告警2 级留给偏离提醒3 级留给状态播报。5.3 去抖参数与“三帧确认”逻辑深度学习输出不稳定某一帧检测框抖动或掩码波动就会产生误报。需要在进入语音模块前加防抖逻辑我一般做两层一是在几何判定处加死区二是在语音触发处加连续帧计数和冷却时间。参数建议值作用偏移触发死区3%~5% 偏移比例避免车道内正常摆动触发播报连续确认帧数8~12 帧连续超过阈值才判定为偏离播报冷却时间4~5 秒同类型提示至少间隔指定时间再播最近距离阈值前车距离 10 米时报警视车速调整车速越快阈值越大三帧确认的代码思路OVERTH_COUNT 10 count 0 # 在主循环里对每帧调用 if abs(offset_ratio) 0.04: count 1 else: count 0 if count OVERTH_COUNT and time.time() - last_alert_ts 4: voice.push(2, 车辆向右偏离) last_alert_ts time.time()逻辑说明连续 10 帧都超阈值才触发播报能过滤掉偶发的误检。last_alert_ts做冷却时间控制只要在 4 秒内就不会重复播报同一类提醒这样既不会漏警也不会烦人。6. 从回放到实车验证手段与关键参数调整6.1 视频回放验证把判定结果叠加到画面上实车调试成本高最稳妥是先用行车记录仪视频做离线回放。把检测框、分割掩码、偏移比例、距离估算值全部画到帧上保存成带注释的新视频以便逐帧核对。out cv2.VideoWriter(annotated.mp4, cv2.VideoWriter_fourcc(*mp4v), 30, (w, h)) # 在主循环结尾加画线逻辑 cv2.addWeighted(road_vis, 0.4, frame, 0.6, 0, frame) cv2.putText(frame, foffset:{offset_ratio:.3f}, (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.putText(frame, fdist:{dist:.1f}m, (30, 90), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2) out.write(frame)逻辑说明addWeighted把道路掩码半透明叠在原始画面上便于观察分割质量putText显示几何计算数值方便定位是哪一步计算出了问题。回放调试时建议把播报文本也显示在画面上并记录触发时刻方便检查误报。6.2 三个影响实车效果的关键参数第一检测置信度阈值不要统一设 0.5前车距离较远、像素很小时置信度天然偏低建议对远处目标单独放宽到 0.35第二偏移触发死区要根据车道宽度调整高速车道窄3% 可能太灵敏取值前先测量一段平直车道的正常偏移峰值第三摄像头安装高度和水平角度直接影响 C 值标定完还要在坡道场景复测发现距离动态偏大或偏小优先检查地平线y_horizon是否发生变化。调试到接近尾声时可以顺手把focal、camera_height、y_horizon三个原始参数独立打印到日志里因为后两章出现的数值偏差往往就是这几个物理量在实车上和标定时不一致造成的。本文还有配套的精品资源点击获取 
长河君 · 2026/9/14 2:21:43 · 阅读 1.2k YOLOv7+DeepLabv3+：实现车道偏离预警与车距估算的视觉方案
简介一套面向毕业设计、课程设计与项目开发者的辅助驾驶工程针对传统车道线检测鲁棒性较差的问题结合YOLOV7目标检测与DeepLabv3语义分割算法训练模型实现车载摄像头道路识别并语音告知车道偏离、前后方车距等驾驶信息。压缩包共32个文件其中13个Python脚本为主要程序12个pyc为编译缓存3个txt为说明文档2张jpg为测试图片另有ttf字体与md项目说明整体约4.99MB目录结构清晰。已有320人学习下载适合需要快速上手深度学习视觉项目的读者。源码已经过严格测试可放心参考项目内按Yolov7、deeplabv3、Lane_line等模块划分包含main.py、GUI.py、lane.py、deeplab.py等关键代码可直接运行验证识别效果。内置白天道路与夜间图像测试样例便于对比不同光照条件下的识别表现也适合在原有模型与界面基础上二次开发。1. 从“两个模型”入手看清驾驶辅助系统里的视觉分工车载摄像头画面里同时发生着很多事前方有车、隔壁车道有车、车道线在前方分叉、人行道边缘有行人。任何一个单一模型都很难同时处理好“目标存在性”和“区域语义”这两类完全不同的问题。目标检测模型擅长回答“那里有个什么物体、框在哪”语义分割模型擅长回答“这一片像素属于哪类路面结构”。标题把 YOLOv7 和 DeepLabv3 摆在一起本质上是把道路识别拆成了“目标感知”与“几何理解”两条流水线。本文会沿着“摄像头采集 → 双路推理 → 几何判定 → 语音输出”这条链路把车道偏离判定、前后车距估算、语音播报防抖的实现方式一层层剥开方便正好在做车载视觉原型、或准备把已有模型往辅助驾驶场景迁移的工程师对照落地。2. YOLOv7与DeepLabv3的任务边界检测和分割为什么要并存2.1 道路识别里的三个子任务辅助驾驶场景里的“道路识别”不是单一任务。常见的做法是先拆成三个子问题可行驶区域哪些像素是路面、哪些是路肩或障碍物这是给车辆控制用的安全边界车道线结构左右车道线在哪、曲率多大、车辆是否偏离车道中心这是判断是否压线或跑偏的依据前方目标状态前车距离、行人位置、是否有制动灯亮起这些用于跟车和碰撞预警。可行驶区域和车道线是稠密像素级的判断目标状态是稀疏目标级的判断。语义分割输出的是 mask天然适合区域理解目标检测输出的是框和类别适合追踪目标位置变化。两个模型并发处理再把结果做几何融合是当前车载视觉原型里比较稳妥的工程结构尤其是在算力允许的中高端工控机或 Jeston 设备上。2.2 YOLOv7负责“有没有东西”YOLOv7 是典型的 anchor-based 检测器在实时性上很吃得开。它在架构上用了扩展ELAN 模块来加深特征复用训练侧则把大量不增加推理代价的技巧如辅助头、粗标签分配打包进训练流程所以在 COCO 上能以较高的 FPS 换到不错的 mAP。它最终输出的是目标框坐标、类别ID和置信度对画面里的车辆、行人、骑行者的存在性判断很直接也容易接着做 IoU 匹配和测距。工程上我会用 torch.hub 加载官方预训练权重然后按需把类别过滤到 car、truck、bus、person 等和目标相关的类。如果手头有 BDD100K 之类的驾驶数据集也可以只用其中的目标检测子集做一次微调让模型更适应车载视角下的小目标分布。2.3 DeepLabv3负责“路面结构”DeepLabv3 是语义分割里很经典的 encoder-decoder 结构。它用空洞卷积金字塔ASPP在不同膨胀率下并行采样解决多尺度目标的分割问题decoder 侧再把高层语义和浅层边缘信息拼接恢复出更细的边界。它的输出是单个张量可理解成“每个像素属于某个类别的概率分布”。在道路场景里最常见的做法是用 Cityscapes 预训练权重做初始化。Cityscapes 的类别包括道路、人行道、车辆、行人等可以直接提取道路 mask但有实际项目经验的人会提醒你Cityscapes 里没有独立的“车道线”类别。想获得车道线像素要么在 BDD100K 上对分割头做微调让模型多学一个 lane 类要么在道路 mask 上做边缘提取用几何方法近似出车道位置。两种路径都能走区别是微调出来的车道线更稳边缘提取实现更省事。2.4 两个模型在管线里的角色对照维度YOLOv7DeepLabv3任务类型目标检测语义分割输出格式矩形框 类别 置信度与输入等大的类别索引图典型预训练COCO80类Cityscapes19类本场景职责前车/行人/骑行者定位可行驶区域与车道线提取计算特点推理快适合每帧执行显存占用偏高可隔帧执行后续处理结合底部像素位置测距结合鸟瞰变换算偏离量拿一张画面同时喂给两个模型输出各取所需互不干扰这就是“检测 分割”双流架构的基本形态。接下来的章节里我会直接跑一个最小可用的推理骨架让两个模型在同一个 Python 进程里同时工作。3. 用Python让YOLOv7与DeepLabv3在本地跑通双模型推理3.1 环境准备Python版本、PyTorch与VSCode配置做这个项目之前先把 Python 环境理干净。我的建议是 Python 3.8 到 3.10 之间PyTorch 选 1.13 或更新版本CUDA 按显卡驱动来。Windows 下经常听到“python was not found; run without arguments to install from the Microsoft Store”的提示本质就是 PATH 没配好或 Python 没安装装完勾选 Add Python to PATH 即可解决。新建独立环境再干活避免污染系统库python -m venv vdrive_env source vdrive_env/bin/activate # Windows: vdrive_env\Scripts\activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python numpy pyttsx3 --index-url https://pypi.tuna.tsinghua.edu.cn/simple参数说明--index-url指定 PyTorch 的官方 wheel 源--extra-index-url或直接换清华源可以加速其余依赖下载国内网络环境下推荐把 pip 的默认源换成清华或阿里云。VSCode 用户记得用CtrlShiftP选择解释器指向vdrive_env里的 python.exe否则终端里装好的包在编辑器中全部无法导入。3.2 双模型前向推理的最小骨架YOLOv7 用torch.hub加载官方仓库权重DeepLabv3 用 torchvision 里的 Cityscapes 预训练版本。摄像头或视频逐帧读取后统一缩放再送入两个模型。import torch import cv2 import numpy as np yolo torch.hub.load(WongKinYiu/yolov7, yolov7, pretrainedTrue).cuda() yolo.conf 0.5 # 检测置信度阈值 yolo.iou 0.45 # NMS IoU 阈值 seg_model torch.hub.load(pytorch/vision, deeplabv3_resnet101, weightsDeepLabV3_ResNet101_Weights.DEEPLABV3_RESNET101_CITYSCAPES) seg_model.eval().cuda() cap cv2.VideoCapture(road.mp4) while cap.isOpened(): ok, frame cap.read() if not ok: break # 检测分支直接吃 BGR 帧 det yolo(frame[:, :, ::-1]) # YOLOv7 内部会处理色彩通道 # 分割分支标准化后转 tensor img cv2.resize(frame, (512, 256)) rgb img[:, :, ::-1] / 255.0 rgb (rgb - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] x torch.from_numpy(rgb.transpose(2, 0, 1)).unsqueeze(0).float().cuda() with torch.no_grad(): out seg_model(x)[out] # 形状 (1, 19, 256, 512) mask out.argmax(dim1).squeeze(0).cpu().numpy() # mask 中 class_id0 是道路车辆检测框从 det 中解析 # 此时可以进入第 4 章的几何判定也可先画出来看效果 cv2.imshow(drive, frame) if cv2.waitKey(1) 0xFF ord(q): break逻辑说明YOLOv7 的torch.hub加载方式会返回一个已配置好参数的 Detect 模型输入可以是 BGR 的 numpy 数组分割模型则要求先归一化到 ImageNet 均值和标准差输出的是一个 19 通道的概率图argmax之后得到每个像素的类别 ID。代码里cap.read()的帧率为视频帧率但双模型推理会拖慢循环实际帧率会明显低于视频原始帧率。3.3 帧率不足时的三个处理手段嵌入式平台跑双模型经常遇到 FPS 不足的问题。常见的做法是手段说明适合场景隔帧执行分割检测每帧跑分割每 2~3 帧跑一次道路结构变化慢分割结果短暂滞后影响小切换到 TensorRT 引擎把两个模型都导出 ONNX 再转 TensorRT INT8有 GPU 且需要稳定 30 FPS 时放大输入下采样倍数分割分支从 512x256 降到 384x192算力紧张允许边缘粗糙时目的是先把“双模型能在一条流水线上跑起来”这件事打通性能优化可以在第 6 章再谈。要想看清每一帧里掩码和检测框是否正确可以先把画面显示出来确认基本功能再逐步加回几何计算。4. 车道偏离判定与前后方车距估算的几何计算4.1 从分割掩码中提取车道线像素拿到分割 mask 后先把道路区域提取出来。如果分割模型没有被微调过 lane 类就用道路 mask 的边缘近似车道位置如果微调过直接取对应类别的像素索引即可。road_mask np.where(mask 0, 255, 0).astype(np.uint8) # Cityscapes 中 class_id0 是 road # 只保留摄像头画面下半部分避免天空和远处干扰计算 h, w road_mask.shape lower road_mask[int(h * 0.5):, :] # 分左右两部分统计像素重心得到左右车道带 left_zone lower[:, :w // 2] right_zone lower[:, w // 2:] left_pts np.column_stack(np.where(left_zone 0)) right_pts np.column_stack(np.where(right_zone 0))逻辑说明np.where返回的是掩码中所有非零像素的行列坐标column_stack把它们拼成坐标点集。左右分区是为了后续把车道中心与图像中心的偏移计算出来。边界条件是极端光照、逆光或车道线磨损会导致分割断裂下一步的鸟瞰变换和拟合能缓解一部分。4.2 用鸟瞰变换把车道中心拉成可量化的偏移量摄像头是斜向下看的画面中车道线是透视关系直接算像素偏移不直观。工程上的标准做法是把画面底部区域投影成鸟瞰图再计算左右车道线的平均位置。src_pts np.float32([[w * 0.4, h * 0.6], [w * 0.6, h * 0.6], [w * 0.1, h * 0.95], [w * 0.9, h * 0.95]]) dst_pts np.float32([[w * 0.25, 0], [w * 0.75, 0], [w * 0.25, h * 0.8], [w * 0.75, h * 0.8]]) M cv2.getPerspectiveTransform(src_pts, dst_pts) bird cv2.warpPerspective(road_mask, M, (w, h)) # 在鸟瞰图中逐行统计左右车道位置 centers [] for row in range(bird.shape[0] // 2, bird.shape[0]): indices np.where(bird[row, :] 0)[0] if len(indices) 20: centers.append((row, indices.mean()))逻辑说明getPerspectiveTransform需要 4 组对应点四边形的选择依赖摄像头的安装位置。这里假设车道线在图中下部一个梯形范围内变换后让车道线在鸟瞰图中基本平行。centers记录了每一行上车道的横向中心位置稳定的中心点序列可以直接判断车辆是否偏离。偏移比例的计算公式是offset_ratio (lane_center - image_center) / image_width其中lane_center是最近若干行车道中心的均值image_center是图像宽度的一半。当偏移比例超过阈值比如 0.03即可视为有偏离倾向。阈值太小会频繁报警太大则失去预警意义后面第 5 章还会结合播报去抖处理。4.3 基于地面投影的单目测距公式与标定方法测距是单目摄像头最容易被问的环节。最稳妥的办法不是直接从深度学习输出距离而是利用“物体底部接地”这一物理约束。假设摄像头固定高度、与地面平行前车接地点的像素行坐标与真实距离近似满足distance focal * camera_height / (y_bottom - y_horizon)其中focal是焦距的像素单位camera_height是摄像头离地面的高度y_bottom是检测框底边的 y 坐标y_horizon是地平线在图像中的 y 坐标。实际项目里更省事的是把focal * camera_height当作一个常数 C用已知距离去标定。def calibrate_c(): data [] # 每项为 (distance, y_bottom, y_horizon) for d, yb, yh in data: data.append((d, yb - yh)) c np.mean([d * dy for d, dy in data]) return c def estimate_distance(y_bottom, y_horizon, C): dy y_bottom - y_horizon if dy 0: return float(inf) return C / dy逻辑说明calibrate_c把多次已知距离下的像素差收集起来用乘积取平均得到常数 C。运行时只需测一次y_bottom - y_horizon就能换算出距离。这个方法的前提是路面平直车辆正对前方坡道和转弯都会让结果偏差增大。标定点是实际车辆前置摄像头画面里车头保险杠与道路接触的位置不是图像正中心。5. 语音告知模块离线TTS与播报去抖5.1 离线语音合成pyttsx3与系统API的选择辅助驾驶场景里语音提示必须离线、低延迟。pyttsx3 是 Python 里较常用的离线 TTS 库Windows 上底层走 SAPI 语音接口Linux 上走 espeak都不依赖网络。发音引擎选择会影响音色和中文支持度Windows 下可先查看系统已安装的语音包。import pyttsx3 engine pyttsx3.init() engine.setProperty(rate, 170) # 语速词/分钟太快会听不清关键信息 engine.say(前方有障碍物注意保持车距) engine.runAndWait()逻辑说明init()会调用系统默认语音引擎setProperty(rate)控制语速170 适合车载噪声环境。建议把播报内容分成短句不要一次性把偏离和车距压缩在同一句话里否则车内乘客很难抓住重点。5.2 用优先级队列合并三类提示语车载播报需要区分轻重缓急。常见做法是建一个优先级队列把“前车距离过近”设为最高优先级把“车道轻微偏移”设为普通优先级import queue import threading class VoiceDispatcher: def __init__(self): self.q queue.PriorityQueue() threading.Thread(targetself._run, daemonTrue).start() def push(self, priority, text): self.q.put((priority, text)) def _run(self): while True: _, text self.q.get() engine.say(text) engine.runAndWait() voice VoiceDispatcher() voice.push(1, 前车距离太近) # 优先级 1 最高 voice.push(3, 车辆轻微向右偏离)逻辑说明PriorityQueue保证高优先级文本先被消费engine.say与runAndWait是阻塞操作后台线程避免阻塞主推理循环。文档里要留意如果推入的优先级数字越小代表越优先1 级留给紧急告警2 级留给偏离提醒3 级留给状态播报。5.3 去抖参数与“三帧确认”逻辑深度学习输出不稳定某一帧检测框抖动或掩码波动就会产生误报。需要在进入语音模块前加防抖逻辑我一般做两层一是在几何判定处加死区二是在语音触发处加连续帧计数和冷却时间。参数建议值作用偏移触发死区3%~5% 偏移比例避免车道内正常摆动触发播报连续确认帧数8~12 帧连续超过阈值才判定为偏离播报冷却时间4~5 秒同类型提示至少间隔指定时间再播最近距离阈值前车距离 10 米时报警视车速调整车速越快阈值越大三帧确认的代码思路OVERTH_COUNT 10 count 0 # 在主循环里对每帧调用 if abs(offset_ratio) 0.04: count 1 else: count 0 if count OVERTH_COUNT and time.time() - last_alert_ts 4: voice.push(2, 车辆向右偏离) last_alert_ts time.time()逻辑说明连续 10 帧都超阈值才触发播报能过滤掉偶发的误检。last_alert_ts做冷却时间控制只要在 4 秒内就不会重复播报同一类提醒这样既不会漏警也不会烦人。6. 从回放到实车验证手段与关键参数调整6.1 视频回放验证把判定结果叠加到画面上实车调试成本高最稳妥是先用行车记录仪视频做离线回放。把检测框、分割掩码、偏移比例、距离估算值全部画到帧上保存成带注释的新视频以便逐帧核对。out cv2.VideoWriter(annotated.mp4, cv2.VideoWriter_fourcc(*mp4v), 30, (w, h)) # 在主循环结尾加画线逻辑 cv2.addWeighted(road_vis, 0.4, frame, 0.6, 0, frame) cv2.putText(frame, foffset:{offset_ratio:.3f}, (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.putText(frame, fdist:{dist:.1f}m, (30, 90), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2) out.write(frame)逻辑说明addWeighted把道路掩码半透明叠在原始画面上便于观察分割质量putText显示几何计算数值方便定位是哪一步计算出了问题。回放调试时建议把播报文本也显示在画面上并记录触发时刻方便检查误报。6.2 三个影响实车效果的关键参数第一检测置信度阈值不要统一设 0.5前车距离较远、像素很小时置信度天然偏低建议对远处目标单独放宽到 0.35第二偏移触发死区要根据车道宽度调整高速车道窄3% 可能太灵敏取值前先测量一段平直车道的正常偏移峰值第三摄像头安装高度和水平角度直接影响 C 值标定完还要在坡道场景复测发现距离动态偏大或偏小优先检查地平线y_horizon是否发生变化。调试到接近尾声时可以顺手把focal、camera_height、y_horizon三个原始参数独立打印到日志里因为后两章出现的数值偏差往往就是这几个物理量在实车上和标定时不一致造成的。本文还有配套的精品资源点击获取