简介计算机视觉赋予机器理解三维世界的能力而深度估计是其中关键一环。传统几何方法依赖多视角或主动传感成本与场景受限。基于深度学习的单目深度估计仅凭单张RGB图像即可预测逐像素深度为自动驾驶、机器人导航、AR等场景提供低成本感知方案。文章从任务定义、算法演进到工程落地系统梳理有监督、自监督及大规模相对深度模型的核心原理并分享损失函数、评估指标与数据预处理的避坑经验。无论入门还是进阶这份总结都能帮你少走弯路。 这个zip包我前后整理了将近一年名字就叫《基于深度学习的单目深度估计总结.zip》里面装的不只是代码还有我读过的论文笔记、跑过的实验记录、不同数据集的预处理脚本以及大量训练时踩坑后的复盘。如果你正在做自动驾驶感知、机器人导航、三维重建或者AR方向或者刚开始接触单目深度估计这个方向这份总结应该能帮你省掉很多弯路。文里我会把单目深度估计的核心原理、常见算法路线、训练和评估实操一起拆开讲顺便把zip包解压和工程化过程中最容易遇到的几个问题也一并说清楚。1. 单目深度估计是什么为什么值得折腾1.1 任务定义与真正的难点单目深度估计英文对应Monocular Depth Estimation输入是一张普通的RGB图像输出是每个像素对应的深度值简单说就是让计算机从一张照片里“看出远近”。听起来很直觉但机器做这件事远比我们想象中难。人眼能通过双眼视差、睫状肌调节、熟悉物体的先验尺寸甚至空气透视来感知距离而单目深度估计这几个线索几乎全被砍掉了。模型只能从画面内容自身去学规律比如远处物体看起来小、近处物体看起来大遮挡关系纹理梯度变化阴影信息等等。这些规律又高度依赖场景室内场景和室外街景的特征差异很大所以深度估计模型经常出现“换一个数据集就崩”的情况。另外一个难点是深度值本身的空间分布。一张图里不同物体的深度范围可能从几十厘米到上千米近处物体面积小但细节丰富远处物体面积大但信息稀释。直接用L1或者L2损失去回归绝对深度模型很容易聚焦在误差大的远处区域近处边界反而被忽略。所以后来很多方法都在设计更聪明的损失函数比如在log空间里回归或者把深度离散化成多个bins去分类目的都是为了平衡不同距离下的优化压力。1.2 应用场景和路线选型单目深度估计能落地的场景很多自动驾驶里做路面与障碍物感知、机器人做避障和抓取、手机相机做背景虚化、AR应用做真实遮挡与阴影匹配还有二维照片转三维空间。甚至在视频编辑里深度图配合分割可以做空间重打光效果非常自然。相比激光雷达和双目相机方案单目方案只需要一个普通摄像头成本低、标定简单、部署容易这正是它一直有人研究的原因。当然也有人会问既然有激光雷达和双目我为什么还要单目深度估计两个理由第一激光雷达贵且稀疏尤其在强光或雨雾环境下可靠性会下降第二双目虽然能靠三角测量恢复深度但基线长度受限远距离精度会退化而且双目图像之间的匹配在大范围无纹理区域很容易失败。单目深度估计不依赖这些硬件约束它更像是在“猜”场景结构虽然绝对精度常常不如几何方法但在很多应用里相对深度和物体遮挡关系就已经够用了。2. zip包里的内容与整理思路2.1 目录结构设计我研究一个方向前习惯先建一个完整文件夹所有东西都放进去最后打包成zip方便迁移和分享。这个《基于深度学习的单目深度估计总结.zip》的目录结构大概长这样mono_depth_estimate/ ├── docs/ │ ├── paper_notes/ │ ├── blog_summary/ │ └── weekly_log/ ├── code/ │ ├── models/ │ ├── data/ │ ├── losses/ │ ├── scripts/ │ └── configs/ ├── datasets/ │ ├── nyu_depth_v2/ │ └── kitti_raw/ ├── logs/ │ ├── train_20240312/ │ └── eval_nyu/ ├── pretrained/ └── references/docs里是我读过的论文笔记和阶段性总结code里是打通的标准训练流程datasets里是预处理过的样本logs是训练日志pretrained放的是消融实验权重references是收藏的博客和教程。把文档和代码放在一起有个非常大的好处几个月后回头翻你不会忘记当初为什么这么设计实验。只看代码不看笔记很多设计决策完全想不起来。2.2 为什么我要连数据和日志一起打包单目深度估计是个极度依赖数据处理的任务。同一份公开数据集不同人预处理的方式不同最后性能可以差好几个点。所以我压缩包里专门放了一份预处理后的mini数据集还记录了裁剪尺寸、深度上限、mask规则这样别人拿到的包至少能完整跑通训练流程不用一开始就和数据处理纠缠。日志文件也很重要里面保存了每个epoch的loss和验证指标方便复盘模型是在哪个阶段开始过拟合或震荡的。另外我会把依赖环境写到代码里的requirements.txt并且注明版本。深度学习框架迭代太快PyTorch从1.x到2.x很多老代码修个接口就得折腾一晚上。这个包在整理时就刻意记录了CUDA、Python、PyTorch版本严格复现时能少踩不少坑。2.3 压缩包传输与解压的常见坑既然叫zip包那绕不开zip格式本身的问题。我自己在传输和分享过程中碰到过几次比较典型的异常这里先提前说下标配处理方案。一个是你下载完解压结果提示file is not a zip file。这种情况多半是因为文件下载不完整或者文件后缀是zip但实际是别的格式。先用file命令看下文件真实类型file xxx.zip如果显示是Zip archive data就没问题如果显示的是HTML document或者其他内容说明下载过程出了问题重新下载一次基本能解决。另一个常见报错是invalid zip archive: could not find eocd这个EOCD是zip文件的结束记录文件末尾找不到这个结构说明压缩包被截断或者损坏了。先用unzip -t检查完整度再用zip自带的修复命令试试unzip -t xxx.zip zip -FF xxx.zip --out xxx_fixed.zip unzip xxx_fixed.zip如果压缩包是分卷的比如你看到xxx.z01和xxx.zip同时存在注意要把所有分卷放到同一个目录里然后用7-Zip直接解压第一个zip文件它会自动读取z01。千万不要单独解压z01绝大多数情况下只会报错。还有读者会问zip密码忘了怎么办。如果是自己的加密压缩包可以用密码破解工具尝试比如fcrackzip或john但这是个暴力过程密码复杂的话时间会很长。这里只提醒一点遇到从网上下载的加密资源想要脱密后传播请务必确认这是合法授权行为我不支持任何绕过版权或隐私边界的用法。3. 核心算法拆解从有监督到自监督3.1 有监督深度估计的经典套路最早也最直接的方案是有监督学习用带深度标签的数据集比如NYU Depth V2或KITTI训练一个编码器-解码器结构的卷积神经网络。编码器负责提取图像特征解码器逐步恢复分辨率并输出深度图。主干网络可以是ResNet、EfficientNet也可以换ViT或Swin Transformer。任务本质是逐像素回归最后一层输出的是单通道深度图。为什么这里要强调多尺度因为深度估计既需要全局场景理解比如判断房间大小、街道走向也需要局部边界细节比如物体边缘的干净程度。如果只用高层特征直接上采样得到的深度图会很糊边界全糊成一团。所以有监督方法大多会用类似U-Net的跳跃连接把编码器每层特征传到解码器对应层融合不同感受野的信息。很多人对“深度学习的池化”印象很深但实际做深度估计时我们会倾向用带stride的卷积来替代池化下采样这样能减少空间信息丢失。3.2 自监督深度估计没有真值也能训练深度标签其实很难获得。激光雷达打出来的深度图是稀疏的逐像素完整深度真值往往要靠昂贵设备或者人工合成。于是自监督方法成了另一个热门方向最具代表性的就是Monodepth2那条线利用双目图像序列作为监督信号。思路用一句话解释就是让网络预测一个深度图然后根据这个深度图把左图采样到右图的视角重建出右图如果重建结果和真实右图越接近说明深度预测得越准。这里面有两个关键组件一个是可微的双线性采样另一个是姿态估计网络。如果只有单目视频还需要一个PoseNet来预测相邻帧之间的相机运动才能把两帧图像对齐。损失函数里通常包括光度一致性误差、平滑性约束、左右视差一致性以及auto-mask来处理静止物体和遮挡区域。训练的自监督模型绝对深度会存在尺度漂移但这个方向的好处是数据几乎无限任何摄像头拍到的视频都能拿来训练泛化性可以做得比有监督模型强很多。3.3 大规模相对深度模型与零样本泛化最近两年给我印象最深的还是MiDaS、DPT和Depth Anything这一类方法。它们不再局限于单一数据集而是把十几个不同来源的数据集汇总有的带深度标签有的带视差标签有的只有相对深度标注然后训练一个大规模相对深度估计模型。相对深度估计的意思是模型不输出绝对米制深度而是预测深度排序关系比如这块比那块近具体数值需要一个全局缩放和对齐后才是实际深度。这个路线带来一个很惊艳的能力零样本泛化。模型没有在某个目标数据集上专门微调但直接拿到一张照片上估计深度效果通常已经不错。DPT用了ViT做编码器能更好地捕获全局结构Depth Anything则通过对带伪标签的大规模无标签数据蒸馏进一步提升了泛化能力。实际用下来这类模型更适合作为backbone提取深度先验然后在下游小数据集上微调而不是完全丢弃。3.4 损失函数与评估指标要分清损失函数和评估指标很容易刚上手就搞混其实它们可以不一样。训练时用损失函数做优化评估时用指标衡量模型好坏。深度估计常见的损失函数包括L1深度损失、L2深度损失、SILog损失和基于梯度或结构相似度的平滑损失。其中SILog对log空间的深度差异做统计公式类似sqrt(mean(d^2) - 0.5 * (mean(d))^2)这个设计能同时约束误差大小和误差分布很多比赛中默认用它。评估指标就要看基准定义。NYU Depth V2和KITTI上有一组常用指标这里我列出来方便对照指标说明越小越好/越大越好Abs Rel绝对相对误差平均 pred - gtSq Rel平方相对误差平均(pred - gt)^2 / gt越小越好RMSE均方根误差越小越好RMSE loglog空间的均方根误差越小越好δ1 / δ2 / δ3阈值准确率max(pred/gt, gt/pred) 1.25^n的比例越大越好评估时特别容易踩坑的是尺度对齐。很多单目模型输出的深度和真实深度之间有一个整体缩放漂移如果你不先求解一个最优缩放因子就直接算Abs Rel结果会很难看。方法也很简单用中位数比例对齐也就是pred * median(gt / pred)。另一个坑是mask不同论文对无效像素的定义不一样有的只评估室内掩码有的评估整图标准不一致指标差异巨大。复现对比前先确认mask规则。4. 实操记录把模型跑起来4.1 环境配置我整理包的时候用的是Ubuntu 22.04和Conda配置深度学习环境的流程已经非常固定。先用Conda创建独立环境避免不同项目之间的依赖冲突conda create -n mono python3.10 conda activate mono pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里特别说下为什么用Conda而不是直接用系统Python。深度学习项目经常会装一些底层库比如CUDA相关的包Conda能隔离每个环境的Python版本和库版本哪怕以后项目不用了直接把环境删掉也不影响系统。GPU驱动装好后用nvidia-smi确认一下代码层面用torch.cuda.is_available()再验证一次。4.2 数据准备与预处理以NYU Depth V2为例原始数据发布时是H5文件里面图像和深度图尺寸不一致需要预处理成统一分辨率。我常用的是把RGB和深度都resize到480x640然后对深度图做必要的中值滤波和缺失值填充最后转成npy或png格式。数据目录结构我会这样组织datasets/nyu_depth_v2/ ├── train/ │ ├── rgb/00001.png │ └── depth/00001.npy └── val/ ├── rgb/00001.png └── depth/00001.npy预处理脚本要把crop区域、深度上限、mask规则等参数写进config文件。我发现自己过去常犯一个错误训练和验证用不同的预处理参数结果天然就有gap。这个坑在单目深度估计里非常隐蔽一旦发现指标离论文很远先检查数据预处理是不是完全一致。4.3 训练脚本框架下面给一个极度简化的PyTorch训练循环用来展示核心逻辑不是完整可复现的代码但流程是通的import torch import torch.nn as nn from torch.utils.data import DataLoader model DepthModel() criterion SILogLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-4) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue) for epoch in range(epochs): model.train() epoch_loss 0.0 for rgb, depth, mask in train_loader: rgb rgb.to(device) depth depth.to(device) mask mask.to(device) pred model(rgb) loss criterion(pred, depth, mask) optimizer.zero_grad() loss.backward() optimizer.step() epoch_loss loss.item() * rgb.size(0) if (epoch 1) % 5 0: evaluate(model, val_loader)里面最关键的是mask的处理。在计算损失时深度图里很多像素是无效的如果不去掉模型会强行拟合噪声。一般做法是loss criterion(pred[mask], depth[mask])PyTorch的mask索引可以直接完成这个操作。还要注意深度值范围比如NYU上我会把深度clip到10米内超出部分直接mask掉。4.4 可视化与日志记录训练时只看loss曲线远远不够必须定期把预测的深度图可视化出来。深度图本质上就是一个灰度图直接存成16位PNG能保留更多数值信息但人眼很难看。更常见的做法是套用伪彩色映射比如OpenCV的COLORMAP_JET这样近处红色、远处蓝色能快速发现模型是不是在某个区域出现了“黑洞”或者“整体偏近”。我习惯每训练一个epoch就在验证集上挑几张固定图像生成可视化结果和真实深度图并排保存。这样哪怕loss一直在降也能直观看出模型有没有还原物体边界。可视化代码很简单用matplotlib或者OpenCV都行import cv2 import numpy as np def save_depth_as_color(pred, path): pred_norm (pred - pred.min()) / (pred.max() - pred.min() 1e-8) pred_norm (pred_norm * 255).astype(np.uint8) color cv2.applyColorMap(pred_norm, cv2.COLORMAP_JET) cv2.imwrite(path, color)日志记录方面我会用tensorboard记录loss、学习率和每个epoch的验证指标。跑实验时一定要把命令、时间、参数都记录下来否则第二天你可能就忘了这个模型是用什么配置跑的。这也是我为什么坚持把整个项目整理成zip包的原因没有记录实验结果就等于白跑。5. 常见问题与排查5.1 压缩包与工程路径问题速查对应我前面提到的zip解压情况再加上工程里常见的路径问题直接看表现象原因解决方式解压报file is not a zip file下载不完整或存储类型不对file查看真实类型重新下载解压报invalid zip archive: could not find eocd压缩包损坏/被截断zip -FF修复或改用7-Zip尝试分卷包z01无法单独解压分卷未放在同一目录所有分卷同目录解压第一个zip解压后找不到预训练权重文件名被截断或路径异常检查zip内文件完整性手动重命名训练代码里相对路径报错当前工作目录不在项目根目录统一用os.path.join(os.path.dirname(__file__), ...)从GitHub下载zip后无法import自己项目没有安装为包pip install -e .或conda develop .5.2 模型训练阶段的高频问题模型训练阶段的问题比解压更磨人。我自己遇到过几个典型列出来供你排查现象可能原因排查思路Loss为NaN学习率过大、数据中有NaN、梯度爆炸降低学习率检查输入图像或深度是否含NaN加gradient clipping深度预测全是黑或一个值网络输出没有经过有效激活或mask全为False检查最后一层是否输出负值深度图是否有有效数据训练loss下降但验证指标没提升过拟合或数据分布不一致增加数据增强检查验证mask是否设置正确小物体边界糊解码器上采样过于粗糙增加跳跃连接或者增加边缘感知损失深度整体偏近训练数据里近处样本过多检查深度分布考虑在log空间训练或使用加权损失自监督模型出现“伪影”遮挡/运动物体导致光度误差增大开启auto-mask增加平滑损失权重第一个NaN问题其实最常见的原因就是学习率太大尤其用Transformer类主干时。我在训练Depth Anything微调时踩过几轮最后把学习率降到1e-5才稳定。另一个很隐蔽的原因是深度图的ground truth里存在inf或者0如果不加mask这个值会一直向损失贡献极端误差最后直接炸掉。所以数据加载后先打印depth.min(), depth.max(), torch.isnan(depth).any()检查一遍形成习惯。5.3 我的避坑清单如果你打算照着这个zip包跑一个完整的单目深度估计实验我有几条额外建议都是实践出来的。第一评估指标一定要写成交叉验证。不要只跑一次多跑几次取均值因为单目深度估计在数据采样上的方差比想象中大。第二不要盲信论文里的指标数字不同的训练集比例、mask规则、图像输入尺寸都会改变结果复现时先找到源码或官方配置再对齐。第三训练时尽量冻结backbone的前几层只微调后面部分能省很多显存和训练时间。第四要学会看中间特征图而不仅是最终深度图。有一个非常好用的调试技巧把编码器最后一层特征做PCA降到三通道可视化你可以清楚地看到模型在场景中关注了哪些结构这比看loss曲线有用得多。6. 整理完这份zip后的一些个人体会花了大半年时间整理这份总结最大的感受是单目深度估计并没有想象中那么“玄学”它更像是在数据、网络结构、损失函数之间找平衡。很多看起来很高端的技巧比如多尺度融合、相对深度训练、自监督重投影本质上都是在解决同一个问题如何让深度值的动态范围和场景结构的多样性被模型更好地理顺。我实际使用中还有一个深有体会的点模型输出的是深度图但很多下游任务真正需要的只是深度图里的“边界”和“相对关系”。做语义分割和物体检测的人往往关心区域和类别而深度估计关心的是几何和遮挡。如果你完成单目深度估计模型训练后发现可视化深度图边界很干净、物体关系也正确哪怕绝对深度数值有一点点偏差大部分场景已经能用了。这份总结zip里我特意留了一份“TODO”列表里面写着还没做的实验比如把Depth Anything和自监督损失做组合以及在复杂道路场景下做更细的mask。以后有空我再往里面补充新的实验记录到时候也会继续写文章分享。这个方向现在还在快速演进但核心方法论相对稳定把基本功打扎实读新论文、复现新模型的速度会快很多。本文还有配套的精品资源点击获取 
长河君 · 2026/8/27 2:02:44 · 阅读 1.2k 深度学习单目深度估计总结：原理、算法与工程实践
简介计算机视觉赋予机器理解三维世界的能力而深度估计是其中关键一环。传统几何方法依赖多视角或主动传感成本与场景受限。基于深度学习的单目深度估计仅凭单张RGB图像即可预测逐像素深度为自动驾驶、机器人导航、AR等场景提供低成本感知方案。文章从任务定义、算法演进到工程落地系统梳理有监督、自监督及大规模相对深度模型的核心原理并分享损失函数、评估指标与数据预处理的避坑经验。无论入门还是进阶这份总结都能帮你少走弯路。 这个zip包我前后整理了将近一年名字就叫《基于深度学习的单目深度估计总结.zip》里面装的不只是代码还有我读过的论文笔记、跑过的实验记录、不同数据集的预处理脚本以及大量训练时踩坑后的复盘。如果你正在做自动驾驶感知、机器人导航、三维重建或者AR方向或者刚开始接触单目深度估计这个方向这份总结应该能帮你省掉很多弯路。文里我会把单目深度估计的核心原理、常见算法路线、训练和评估实操一起拆开讲顺便把zip包解压和工程化过程中最容易遇到的几个问题也一并说清楚。1. 单目深度估计是什么为什么值得折腾1.1 任务定义与真正的难点单目深度估计英文对应Monocular Depth Estimation输入是一张普通的RGB图像输出是每个像素对应的深度值简单说就是让计算机从一张照片里“看出远近”。听起来很直觉但机器做这件事远比我们想象中难。人眼能通过双眼视差、睫状肌调节、熟悉物体的先验尺寸甚至空气透视来感知距离而单目深度估计这几个线索几乎全被砍掉了。模型只能从画面内容自身去学规律比如远处物体看起来小、近处物体看起来大遮挡关系纹理梯度变化阴影信息等等。这些规律又高度依赖场景室内场景和室外街景的特征差异很大所以深度估计模型经常出现“换一个数据集就崩”的情况。另外一个难点是深度值本身的空间分布。一张图里不同物体的深度范围可能从几十厘米到上千米近处物体面积小但细节丰富远处物体面积大但信息稀释。直接用L1或者L2损失去回归绝对深度模型很容易聚焦在误差大的远处区域近处边界反而被忽略。所以后来很多方法都在设计更聪明的损失函数比如在log空间里回归或者把深度离散化成多个bins去分类目的都是为了平衡不同距离下的优化压力。1.2 应用场景和路线选型单目深度估计能落地的场景很多自动驾驶里做路面与障碍物感知、机器人做避障和抓取、手机相机做背景虚化、AR应用做真实遮挡与阴影匹配还有二维照片转三维空间。甚至在视频编辑里深度图配合分割可以做空间重打光效果非常自然。相比激光雷达和双目相机方案单目方案只需要一个普通摄像头成本低、标定简单、部署容易这正是它一直有人研究的原因。当然也有人会问既然有激光雷达和双目我为什么还要单目深度估计两个理由第一激光雷达贵且稀疏尤其在强光或雨雾环境下可靠性会下降第二双目虽然能靠三角测量恢复深度但基线长度受限远距离精度会退化而且双目图像之间的匹配在大范围无纹理区域很容易失败。单目深度估计不依赖这些硬件约束它更像是在“猜”场景结构虽然绝对精度常常不如几何方法但在很多应用里相对深度和物体遮挡关系就已经够用了。2. zip包里的内容与整理思路2.1 目录结构设计我研究一个方向前习惯先建一个完整文件夹所有东西都放进去最后打包成zip方便迁移和分享。这个《基于深度学习的单目深度估计总结.zip》的目录结构大概长这样mono_depth_estimate/ ├── docs/ │ ├── paper_notes/ │ ├── blog_summary/ │ └── weekly_log/ ├── code/ │ ├── models/ │ ├── data/ │ ├── losses/ │ ├── scripts/ │ └── configs/ ├── datasets/ │ ├── nyu_depth_v2/ │ └── kitti_raw/ ├── logs/ │ ├── train_20240312/ │ └── eval_nyu/ ├── pretrained/ └── references/docs里是我读过的论文笔记和阶段性总结code里是打通的标准训练流程datasets里是预处理过的样本logs是训练日志pretrained放的是消融实验权重references是收藏的博客和教程。把文档和代码放在一起有个非常大的好处几个月后回头翻你不会忘记当初为什么这么设计实验。只看代码不看笔记很多设计决策完全想不起来。2.2 为什么我要连数据和日志一起打包单目深度估计是个极度依赖数据处理的任务。同一份公开数据集不同人预处理的方式不同最后性能可以差好几个点。所以我压缩包里专门放了一份预处理后的mini数据集还记录了裁剪尺寸、深度上限、mask规则这样别人拿到的包至少能完整跑通训练流程不用一开始就和数据处理纠缠。日志文件也很重要里面保存了每个epoch的loss和验证指标方便复盘模型是在哪个阶段开始过拟合或震荡的。另外我会把依赖环境写到代码里的requirements.txt并且注明版本。深度学习框架迭代太快PyTorch从1.x到2.x很多老代码修个接口就得折腾一晚上。这个包在整理时就刻意记录了CUDA、Python、PyTorch版本严格复现时能少踩不少坑。2.3 压缩包传输与解压的常见坑既然叫zip包那绕不开zip格式本身的问题。我自己在传输和分享过程中碰到过几次比较典型的异常这里先提前说下标配处理方案。一个是你下载完解压结果提示file is not a zip file。这种情况多半是因为文件下载不完整或者文件后缀是zip但实际是别的格式。先用file命令看下文件真实类型file xxx.zip如果显示是Zip archive data就没问题如果显示的是HTML document或者其他内容说明下载过程出了问题重新下载一次基本能解决。另一个常见报错是invalid zip archive: could not find eocd这个EOCD是zip文件的结束记录文件末尾找不到这个结构说明压缩包被截断或者损坏了。先用unzip -t检查完整度再用zip自带的修复命令试试unzip -t xxx.zip zip -FF xxx.zip --out xxx_fixed.zip unzip xxx_fixed.zip如果压缩包是分卷的比如你看到xxx.z01和xxx.zip同时存在注意要把所有分卷放到同一个目录里然后用7-Zip直接解压第一个zip文件它会自动读取z01。千万不要单独解压z01绝大多数情况下只会报错。还有读者会问zip密码忘了怎么办。如果是自己的加密压缩包可以用密码破解工具尝试比如fcrackzip或john但这是个暴力过程密码复杂的话时间会很长。这里只提醒一点遇到从网上下载的加密资源想要脱密后传播请务必确认这是合法授权行为我不支持任何绕过版权或隐私边界的用法。3. 核心算法拆解从有监督到自监督3.1 有监督深度估计的经典套路最早也最直接的方案是有监督学习用带深度标签的数据集比如NYU Depth V2或KITTI训练一个编码器-解码器结构的卷积神经网络。编码器负责提取图像特征解码器逐步恢复分辨率并输出深度图。主干网络可以是ResNet、EfficientNet也可以换ViT或Swin Transformer。任务本质是逐像素回归最后一层输出的是单通道深度图。为什么这里要强调多尺度因为深度估计既需要全局场景理解比如判断房间大小、街道走向也需要局部边界细节比如物体边缘的干净程度。如果只用高层特征直接上采样得到的深度图会很糊边界全糊成一团。所以有监督方法大多会用类似U-Net的跳跃连接把编码器每层特征传到解码器对应层融合不同感受野的信息。很多人对“深度学习的池化”印象很深但实际做深度估计时我们会倾向用带stride的卷积来替代池化下采样这样能减少空间信息丢失。3.2 自监督深度估计没有真值也能训练深度标签其实很难获得。激光雷达打出来的深度图是稀疏的逐像素完整深度真值往往要靠昂贵设备或者人工合成。于是自监督方法成了另一个热门方向最具代表性的就是Monodepth2那条线利用双目图像序列作为监督信号。思路用一句话解释就是让网络预测一个深度图然后根据这个深度图把左图采样到右图的视角重建出右图如果重建结果和真实右图越接近说明深度预测得越准。这里面有两个关键组件一个是可微的双线性采样另一个是姿态估计网络。如果只有单目视频还需要一个PoseNet来预测相邻帧之间的相机运动才能把两帧图像对齐。损失函数里通常包括光度一致性误差、平滑性约束、左右视差一致性以及auto-mask来处理静止物体和遮挡区域。训练的自监督模型绝对深度会存在尺度漂移但这个方向的好处是数据几乎无限任何摄像头拍到的视频都能拿来训练泛化性可以做得比有监督模型强很多。3.3 大规模相对深度模型与零样本泛化最近两年给我印象最深的还是MiDaS、DPT和Depth Anything这一类方法。它们不再局限于单一数据集而是把十几个不同来源的数据集汇总有的带深度标签有的带视差标签有的只有相对深度标注然后训练一个大规模相对深度估计模型。相对深度估计的意思是模型不输出绝对米制深度而是预测深度排序关系比如这块比那块近具体数值需要一个全局缩放和对齐后才是实际深度。这个路线带来一个很惊艳的能力零样本泛化。模型没有在某个目标数据集上专门微调但直接拿到一张照片上估计深度效果通常已经不错。DPT用了ViT做编码器能更好地捕获全局结构Depth Anything则通过对带伪标签的大规模无标签数据蒸馏进一步提升了泛化能力。实际用下来这类模型更适合作为backbone提取深度先验然后在下游小数据集上微调而不是完全丢弃。3.4 损失函数与评估指标要分清损失函数和评估指标很容易刚上手就搞混其实它们可以不一样。训练时用损失函数做优化评估时用指标衡量模型好坏。深度估计常见的损失函数包括L1深度损失、L2深度损失、SILog损失和基于梯度或结构相似度的平滑损失。其中SILog对log空间的深度差异做统计公式类似sqrt(mean(d^2) - 0.5 * (mean(d))^2)这个设计能同时约束误差大小和误差分布很多比赛中默认用它。评估指标就要看基准定义。NYU Depth V2和KITTI上有一组常用指标这里我列出来方便对照指标说明越小越好/越大越好Abs Rel绝对相对误差平均 pred - gtSq Rel平方相对误差平均(pred - gt)^2 / gt越小越好RMSE均方根误差越小越好RMSE loglog空间的均方根误差越小越好δ1 / δ2 / δ3阈值准确率max(pred/gt, gt/pred) 1.25^n的比例越大越好评估时特别容易踩坑的是尺度对齐。很多单目模型输出的深度和真实深度之间有一个整体缩放漂移如果你不先求解一个最优缩放因子就直接算Abs Rel结果会很难看。方法也很简单用中位数比例对齐也就是pred * median(gt / pred)。另一个坑是mask不同论文对无效像素的定义不一样有的只评估室内掩码有的评估整图标准不一致指标差异巨大。复现对比前先确认mask规则。4. 实操记录把模型跑起来4.1 环境配置我整理包的时候用的是Ubuntu 22.04和Conda配置深度学习环境的流程已经非常固定。先用Conda创建独立环境避免不同项目之间的依赖冲突conda create -n mono python3.10 conda activate mono pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里特别说下为什么用Conda而不是直接用系统Python。深度学习项目经常会装一些底层库比如CUDA相关的包Conda能隔离每个环境的Python版本和库版本哪怕以后项目不用了直接把环境删掉也不影响系统。GPU驱动装好后用nvidia-smi确认一下代码层面用torch.cuda.is_available()再验证一次。4.2 数据准备与预处理以NYU Depth V2为例原始数据发布时是H5文件里面图像和深度图尺寸不一致需要预处理成统一分辨率。我常用的是把RGB和深度都resize到480x640然后对深度图做必要的中值滤波和缺失值填充最后转成npy或png格式。数据目录结构我会这样组织datasets/nyu_depth_v2/ ├── train/ │ ├── rgb/00001.png │ └── depth/00001.npy └── val/ ├── rgb/00001.png └── depth/00001.npy预处理脚本要把crop区域、深度上限、mask规则等参数写进config文件。我发现自己过去常犯一个错误训练和验证用不同的预处理参数结果天然就有gap。这个坑在单目深度估计里非常隐蔽一旦发现指标离论文很远先检查数据预处理是不是完全一致。4.3 训练脚本框架下面给一个极度简化的PyTorch训练循环用来展示核心逻辑不是完整可复现的代码但流程是通的import torch import torch.nn as nn from torch.utils.data import DataLoader model DepthModel() criterion SILogLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-4) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue) for epoch in range(epochs): model.train() epoch_loss 0.0 for rgb, depth, mask in train_loader: rgb rgb.to(device) depth depth.to(device) mask mask.to(device) pred model(rgb) loss criterion(pred, depth, mask) optimizer.zero_grad() loss.backward() optimizer.step() epoch_loss loss.item() * rgb.size(0) if (epoch 1) % 5 0: evaluate(model, val_loader)里面最关键的是mask的处理。在计算损失时深度图里很多像素是无效的如果不去掉模型会强行拟合噪声。一般做法是loss criterion(pred[mask], depth[mask])PyTorch的mask索引可以直接完成这个操作。还要注意深度值范围比如NYU上我会把深度clip到10米内超出部分直接mask掉。4.4 可视化与日志记录训练时只看loss曲线远远不够必须定期把预测的深度图可视化出来。深度图本质上就是一个灰度图直接存成16位PNG能保留更多数值信息但人眼很难看。更常见的做法是套用伪彩色映射比如OpenCV的COLORMAP_JET这样近处红色、远处蓝色能快速发现模型是不是在某个区域出现了“黑洞”或者“整体偏近”。我习惯每训练一个epoch就在验证集上挑几张固定图像生成可视化结果和真实深度图并排保存。这样哪怕loss一直在降也能直观看出模型有没有还原物体边界。可视化代码很简单用matplotlib或者OpenCV都行import cv2 import numpy as np def save_depth_as_color(pred, path): pred_norm (pred - pred.min()) / (pred.max() - pred.min() 1e-8) pred_norm (pred_norm * 255).astype(np.uint8) color cv2.applyColorMap(pred_norm, cv2.COLORMAP_JET) cv2.imwrite(path, color)日志记录方面我会用tensorboard记录loss、学习率和每个epoch的验证指标。跑实验时一定要把命令、时间、参数都记录下来否则第二天你可能就忘了这个模型是用什么配置跑的。这也是我为什么坚持把整个项目整理成zip包的原因没有记录实验结果就等于白跑。5. 常见问题与排查5.1 压缩包与工程路径问题速查对应我前面提到的zip解压情况再加上工程里常见的路径问题直接看表现象原因解决方式解压报file is not a zip file下载不完整或存储类型不对file查看真实类型重新下载解压报invalid zip archive: could not find eocd压缩包损坏/被截断zip -FF修复或改用7-Zip尝试分卷包z01无法单独解压分卷未放在同一目录所有分卷同目录解压第一个zip解压后找不到预训练权重文件名被截断或路径异常检查zip内文件完整性手动重命名训练代码里相对路径报错当前工作目录不在项目根目录统一用os.path.join(os.path.dirname(__file__), ...)从GitHub下载zip后无法import自己项目没有安装为包pip install -e .或conda develop .5.2 模型训练阶段的高频问题模型训练阶段的问题比解压更磨人。我自己遇到过几个典型列出来供你排查现象可能原因排查思路Loss为NaN学习率过大、数据中有NaN、梯度爆炸降低学习率检查输入图像或深度是否含NaN加gradient clipping深度预测全是黑或一个值网络输出没有经过有效激活或mask全为False检查最后一层是否输出负值深度图是否有有效数据训练loss下降但验证指标没提升过拟合或数据分布不一致增加数据增强检查验证mask是否设置正确小物体边界糊解码器上采样过于粗糙增加跳跃连接或者增加边缘感知损失深度整体偏近训练数据里近处样本过多检查深度分布考虑在log空间训练或使用加权损失自监督模型出现“伪影”遮挡/运动物体导致光度误差增大开启auto-mask增加平滑损失权重第一个NaN问题其实最常见的原因就是学习率太大尤其用Transformer类主干时。我在训练Depth Anything微调时踩过几轮最后把学习率降到1e-5才稳定。另一个很隐蔽的原因是深度图的ground truth里存在inf或者0如果不加mask这个值会一直向损失贡献极端误差最后直接炸掉。所以数据加载后先打印depth.min(), depth.max(), torch.isnan(depth).any()检查一遍形成习惯。5.3 我的避坑清单如果你打算照着这个zip包跑一个完整的单目深度估计实验我有几条额外建议都是实践出来的。第一评估指标一定要写成交叉验证。不要只跑一次多跑几次取均值因为单目深度估计在数据采样上的方差比想象中大。第二不要盲信论文里的指标数字不同的训练集比例、mask规则、图像输入尺寸都会改变结果复现时先找到源码或官方配置再对齐。第三训练时尽量冻结backbone的前几层只微调后面部分能省很多显存和训练时间。第四要学会看中间特征图而不仅是最终深度图。有一个非常好用的调试技巧把编码器最后一层特征做PCA降到三通道可视化你可以清楚地看到模型在场景中关注了哪些结构这比看loss曲线有用得多。6. 整理完这份zip后的一些个人体会花了大半年时间整理这份总结最大的感受是单目深度估计并没有想象中那么“玄学”它更像是在数据、网络结构、损失函数之间找平衡。很多看起来很高端的技巧比如多尺度融合、相对深度训练、自监督重投影本质上都是在解决同一个问题如何让深度值的动态范围和场景结构的多样性被模型更好地理顺。我实际使用中还有一个深有体会的点模型输出的是深度图但很多下游任务真正需要的只是深度图里的“边界”和“相对关系”。做语义分割和物体检测的人往往关心区域和类别而深度估计关心的是几何和遮挡。如果你完成单目深度估计模型训练后发现可视化深度图边界很干净、物体关系也正确哪怕绝对深度数值有一点点偏差大部分场景已经能用了。这份总结zip里我特意留了一份“TODO”列表里面写着还没做的实验比如把Depth Anything和自监督损失做组合以及在复杂道路场景下做更细的mask。以后有空我再往里面补充新的实验记录到时候也会继续写文章分享。这个方向现在还在快速演进但核心方法论相对稳定把基本功打扎实读新论文、复现新模型的速度会快很多。本文还有配套的精品资源点击获取