1. 计算机视觉产业链的全景拆解与跟踪逻辑1.1 为什么选择“产业链跟踪”这个视角做计算机视觉这个方向的人很容易陷入一个误区盯着模型和论文看觉得把检测、分割、跟踪的SOTA刷一遍就算入门了。我2022年底跟几个做安防和工业质检的朋友聊完才发现真正在产业里跑通的项目技术选型只是其中一环更多时候决定项目成败的是上游的传感器选型、中游的算力成本、下游的场景适配。所以从2023年1月开始我给自己定了一个习惯每个月花两三天时间把计算机视觉这条产业链从头到尾梳理一遍记录关键变化。这个“产业链跟踪梳理”不是学术综述也不是投资研报它更像是一个从业者的工作笔记。我会关注上游的芯片和传感器有什么新动向中游的算法框架和开发工具有什么更新下游哪些场景在真正落地、哪些在退潮。这样做的价值在于当你下次要做一个视觉项目时你能快速判断现在这个时间点用什么方案性价比最高哪些坑已经被别人踩过了。1.2 产业链上中下游的划分方式计算机视觉的产业链我习惯按“数据从哪来、算法在哪跑、结果给谁用”这条主线来切。上游是感知层和算力层包括图像传感器、镜头模组、AI芯片、边缘计算设备中游是算法层和平台层包括开源框架、预训练模型、标注工具、训练平台、推理引擎下游是应用层覆盖安防、工业、医疗、零售、自动驾驶、消费电子等场景。这个划分不是绝对的。比如海康威视既做上游的摄像机也做中游的算法还做下游的行业解决方案。但作为跟踪框架它足够清晰能帮我把零散的信息归位。2023年1月这个时间点我重点跟踪的是三个变化一是国产AI芯片在推理侧的份额变化二是视觉大模型对传统算法方案的冲击三是工业质检场景从“试点”到“批量复制”的拐点是否到来。1.3 跟踪笔记的信息来源与筛选原则我跟踪信息的来源分四类。第一类是公开的行业报告和白皮书比如中国信通院、艾瑞、IDC的季度报告这类信息宏观但滞后适合看趋势。第二类是上市公司财报和招股书尤其是科创板里做机器视觉和AI芯片的公司财报里的营收结构和毛利率变化比任何研报都真实。第三类是开源社区和开发者论坛GitHub上的star增长、issue讨论、版本更新日志能反映技术栈的真实热度。第四类是一线从业者的交流包括微信群、线下meetup、以及和客户聊天时听到的“抱怨”这类信息最鲜活但需要交叉验证。筛选原则很简单只记录能影响技术选型或成本结构的信息。比如某款国产推理芯片降价30%这是有效信息某公司发布了一个新的视觉大模型但没公布推理成本这是无效信息。2023年1月我记录的关键词包括计算机视觉、边缘推理、视觉大模型、工业质检、数据标注成本。2. 上游感知与算力层的关键变化2.1 图像传感器全局快门与事件相机的渗透节奏2023年1月图像传感器这个环节最值得关注的是全局快门Global Shutter在工业场景的渗透。传统卷帘快门Rolling Shutter在拍摄高速运动物体时会产生果冻效应这在工业质检里是致命的。以前全局快门的传感器价格是卷帘的3到5倍很多项目为了省成本就忍了。但2022年下半年开始国产厂商在全局快门上的产能上来后价格差距缩小到1.5倍左右。我拿到的几个工业相机报价单显示200万像素全局快门CMOS模组2022年初还要800到1000元2023年1月已经降到500到600元区间。这个变化直接影响了产线质检的方案设计以前只能用卷帘快门加频闪光源来“冻结”画面现在可以直接上全局快门光源方案简化整体成本反而更低。事件相机Event Camera这个月没有大的价格变化依然停留在科研和小众场景。它的优势是只记录亮度变化延迟极低、功耗极低适合高速避障和低功耗监控。但缺点是输出的是异步事件流不是传统图像算法栈要重写。我个人的判断是2023年事件相机还不会大规模进入工业场景但做自动驾驶和机器人的人应该保持关注。2.2 AI推理芯片国产替代在边缘侧的实质性进展这个月我重点跟踪了边缘推理芯片的报价和供货情况。2022年很多项目因为缺芯被迫改用国产方案到了2023年1月国产芯片不再是“备胎”而是在性价比上真正有了竞争力。以某国产边缘推理芯片为例INT8算力8TOPS功耗5W批量采购价在200元以内而同级别的进口芯片还在400元以上。但这里有一个坑国产芯片的算力标称值往往是在理想条件下测的实际跑视觉模型时由于内存带宽和算子支持的限制有效算力可能只有标称的50%到70%。我实测过一个国产芯片跑YOLOv5s标称8TOPS实际帧率只比另一款标称4TOPS的进口芯片高20%。所以选型时不能只看算力数字一定要拿自己的模型去实测。另一个变化是计算机视觉推理框架的适配。以前国产芯片的SDK很难用算子覆盖不全模型转换经常失败。2023年1月主流国产芯片厂商基本都支持了ONNX和TFLite的模型导入部分还支持PyTorch直接导出。这意味着算法工程师不需要为了适配芯片去重写模型迁移成本大幅降低。2.3 镜头与光源被低估的成像质量决定因素很多做算法的人不重视镜头和光源觉得“算法能补”。我踩过的坑是在一个金属表面缺陷检测项目里算法换了三版指标始终上不去最后发现是镜头畸变导致边缘缺陷变形算法根本学不到稳定特征。换了远心镜头后同样的算法召回率从72%提到91%。2023年1月远心镜头和工业光源的国产化程度已经很高价格比进口低40%左右。但选型时要注意远心镜头的景深很浅适合测量但适合有高度差的表面光源方面频闪光源配合卷帘快门可以替代全局快门但频闪的同步信号如果和相机曝光不同步会出现亮度不均。这些细节在方案设计阶段就要确认不要等到现场调试才发现。3. 中游算法与平台层的技术选型实录3.1 开源框架与预训练模型从“造轮子”到“调轮子”2023年1月计算机视觉的开源生态已经非常成熟。检测有YOLO系列和DETR系列分割有Segment Anything的前身工作分类和特征提取有各种ViT变体。我的建议是除非你的场景非常特殊否则不要从零训练模型而是基于预训练模型做微调。但微调也有讲究。我试过在一个只有2000张标注图的工业缺陷数据集上直接微调YOLOv5mAP只有0.65后来改用冻结主干网络、只训练检测头mAP反而提到0.78。原因是数据量太少全量微调容易过拟合。所以小样本场景下计算机视觉模型的微调策略比模型结构更重要。另一个变化是视觉大模型Visual Foundation Model的兴起。2023年1月已经有多个视觉大模型开放API可以做零样本分类和检测。但我在实际测试中发现这些大模型在通用场景下表现惊艳在工业缺陷这种细粒度场景下零样本的准确率还不如小样本微调的传统模型。所以我的判断是大模型适合做数据预筛选和标注辅助不适合直接替代产线模型。3.2 数据标注成本结构与质量控制数据标注是计算机视觉项目里最容易被低估的成本项。2023年1月我跟踪了几个标注平台的报价2D框标注大约0.1到0.3元一个框语义分割按像素算一张图可能几元到几十元。一个中等规模的检测项目标注成本轻松超过十万。控制标注成本有几个实操技巧。第一先用预训练模型做预标注人工只做修正效率能提升3到5倍。第二制定详细的标注规范尤其是边界框的贴合标准、遮挡情况的处理规则否则返工成本极高。第三做标注质量抽检我通常按10%的比例抽检如果错误率超过5%就要求全部返工。还有一个坑标注人员的培训成本。工业缺陷的种类往往需要专业知识才能区分比如某种划痕和某种材料纹理的差异普通人根本分不清。这种情况下要么让产线质检员来标注要么让算法工程师先标注一批“黄金样本”作为参考。3.3 训练平台与推理引擎选型的三个硬指标训练平台方面2023年1月主流的选择还是PyTorchTensorFlow的份额在视觉领域继续萎缩。推理引擎方面ONNX Runtime、TensorRT、OpenVINO各有适用场景。我选型的三个硬指标是算子覆盖率、量化支持、跨平台部署能力。算子覆盖率决定了你的模型能不能顺利转换。我遇到过一个自定义的注意力模块在ONNX里没有对应算子转换直接失败最后只能重写。量化支持决定了你能不能把模型压到边缘设备上跑。TensorRT的INT8量化效果最好但校准过程比较麻烦ONNX Runtime的量化更简单但精度损失可能大一些。跨平台部署能力决定了你换芯片时要不要重写推理代码。ONNX在这方面优势明显基本做到了“一次导出到处运行”。4. 下游应用场景的落地进展与踩坑记录4.1 工业质检从“样板间”到“批量复制”的瓶颈工业质检是2023年计算机视觉落地最密集的场景之一。我跟踪的几个项目显示表面缺陷检测、尺寸测量、装配验证是三大主力需求。但“样板间”和“批量复制”之间有一道鸿沟样板间里光线可控、产品单一、节拍慢批量复制时每条产线的光照、震动、产品批次都有差异模型泛化能力面临考验。我踩过的一个坑是在实验室训练的模型到了产线现场因为传送带速度变化导致运动模糊检测率直接掉了一半。解决办法是在训练数据里加入不同速度下的模糊样本或者用全局快门加频闪来“冻结”画面。另一个坑是产线的电磁干扰导致相机丢帧这个只能从硬件布线上去解决算法层面无解。4.2 安防与零售存量市场的算法升级需求安防是计算机视觉最成熟的下游市场2023年1月的主要变化是存量摄像头的算法升级。以前的老旧摄像头只能录像现在通过边缘盒子接入AI算法可以实现人脸识别、行为分析、客流统计等功能。这个市场的特点是量大、单价低、对成本极度敏感。零售场景我跟踪的是自助结算和客流分析。自助结算的核心是商品识别技术路线从条形码向视觉识别迁移。但视觉识别的难点在于商品外观相似度高、遮挡严重、光线变化大。我见过一个方案在测试集上准确率99%到了真实超市只有85%原因是顾客拿取商品的角度和测试数据差异太大。所以零售场景的数据采集一定要在真实货架上做不能用实验室摆拍的数据。4.3 医疗与自动驾驶高价值但高门槛的长周期场景医疗影像和自动驾驶是计算机视觉的两个高价值场景但2023年1月的落地节奏明显慢于工业。医疗影像的瓶颈不在算法而在法规审批和数据获取。一个医疗AI模型从研发到拿证通常要两到三年而且需要多中心临床验证。自动驾驶的瓶颈在长尾场景和算力成本L4级别的自动驾驶每辆车的光雷达和摄像头成本依然很高。我个人的建议是如果你是算法工程师想进入这两个领域先确认自己能不能接受长周期的项目节奏。医疗影像可能半年都在等数据审批自动驾驶可能一年都在调同一个corner case。相比之下工业质检和零售的反馈周期短得多适合快速积累经验。5. 常见问题与排查技巧实录5.1 模型训练不收敛的排查清单训练不收敛是计算机视觉项目里最常见的问题。我整理了一个排查顺序先看数据再看标签再看模型最后看超参。数据方面检查图像是否有损坏、标注是否越界、类别是否极度不平衡。标签方面检查标注格式是否和模型输入匹配比如YOLO要求归一化的中心点和宽高如果你给了左上角和右下角坐标模型肯定学不到东西。模型方面先用一个极小的数据集比如10张图做过拟合测试如果模型连这10张图都拟合不了说明模型结构或损失函数有问题。超参方面学习率是最关键的我通常从1e-3开始试如果loss震荡就降到1e-4如果loss下降太慢就升到1e-2。还有一个容易被忽略的点数据增强的强度。如果增强太猛模型可能学不到有效特征尤其是小数据集场景。5.2 推理速度不达标的优化路径推理速度不达标时优化路径按成本从低到高排列第一降低输入分辨率这是最直接有效的但要注意小目标检测的精度损失。第二换更小的模型比如从YOLOv5m换到YOLOv5s。第三做量化INT8量化通常能提速2到3倍但需要校准数据。第四换推理引擎比如从ONNX Runtime换到TensorRT。第五换硬件这是最后的手段。我实测过一个案例YOLOv5s在CPU上跑640x640输入只有5FPS降到320x320后到15FPS再做INT8量化后到40FPS最后换到边缘NPU上到80FPS。每一步的精度损失都在1%以内但速度提升了16倍。所以优化是一个系统工程不要一上来就换硬件。5.3 现场部署的常见故障与应急处理现场部署的故障往往和实验室环境差异很大。我遇到过相机被强光干扰导致自动曝光失控画面一片白也遇到过网络抖动导致推理结果回传延迟产线已经流到下一站了才报警。应急处理的原则是先保生产再查原因。比如曝光问题可以临时锁定曝光时间和增益网络问题可以在边缘端做本地缓存和断网续传。还有一个常见故障是模型文件损坏或版本不匹配。我建议在部署包里加一个自检脚本启动时校验模型文件的MD5和推理引擎的版本号不匹配就直接报错不要等到跑了一半才崩。这个习惯帮我省了很多现场排查的时间。5.4 数据漂移的监测与模型迭代策略数据漂移是模型上线后精度下降的主要原因。2023年1月我跟踪的几个项目都开始重视这个问题。监测方法很简单定期抽样线上数据用当前模型推理人工检查错误率。如果错误率比上线时高了5%以上就说明数据漂移了需要重新标注和迭代模型。迭代策略上我推荐“增量训练全量验证”。增量训练是用新数据微调模型全量验证是用一个固定的测试集确认精度没有退化。注意不要只用新数据训练否则模型会“遗忘”旧场景。另一个技巧是保留一个“黄金测试集”这个测试集不参与训练只用于最终验证确保模型迭代方向正确。6. 个人实操心得与后续跟踪方向6.1 从跟踪笔记到项目决策的转化方法跟踪笔记的价值在于转化。我每个月梳理完产业链信息后会做一件事把信息映射到自己正在做或计划做的项目上。比如国产推理芯片降价我就重新算一遍边缘盒子的BOM成本视觉大模型有更新我就拿自己的数据集测一下零样本效果。这样跟踪笔记就不是“看过”而是“用过”。转化时要注意区分“行业趋势”和“项目机会”。行业趋势是大家都知道的比如AI芯片国产化项目机会是只有深入一线才能发现的比如某个特定场景下全局快门镜头的性价比拐点。跟踪笔记要重点记录后者因为前者在公开报告里都能看到。6.2 2023年后续值得关注的三个方向第一个方向是计算机视觉与多模态的融合。2023年1月已经能看到视觉语言模型在零样本检测上的潜力后续如果推理成本降下来可能会改变数据标注和模型微调的流程。第二个方向是边缘端的小样本学习工业场景的数据获取成本太高谁能用更少的数据达到可用的精度谁就有优势。第三个方向是3D视觉在工业测量和机器人抓取上的渗透随着深度相机价格下降这个市场的增速可能会超预期。6.3 给刚入行朋友的学习路线建议如果你刚入行计算机视觉我的建议是先跑通一个完整的项目从数据采集、标注、训练、部署到现场调试全部走一遍。不要一上来就啃论文论文里的SOTA和产线可用的方案之间差距很大。工具方面Python和PyTorch是必须的OpenCV和NumPy是基础ONNX和TensorRT是部署必备。Visual Studio Code和PyCharm选哪个不重要用顺手就行。学习路径上我推荐“项目驱动”定一个具体的小目标比如做一个车牌识别系统然后围绕这个目标去学检测、OCR、部署。遇到什么问题就学什么这样学得快、记得牢。最后再分享一个小技巧多逛GitHub的issue区很多实际问题的解决方案不在文档里而在别人的讨论里。我很多踩坑经验都是从issue里看来的。 
长河君 · 2026/11/2 20:09:15 · 阅读 1.2k 计算机视觉产业链跟踪笔记：从芯片到落地的技术选型与踩坑实录
1. 计算机视觉产业链的全景拆解与跟踪逻辑1.1 为什么选择“产业链跟踪”这个视角做计算机视觉这个方向的人很容易陷入一个误区盯着模型和论文看觉得把检测、分割、跟踪的SOTA刷一遍就算入门了。我2022年底跟几个做安防和工业质检的朋友聊完才发现真正在产业里跑通的项目技术选型只是其中一环更多时候决定项目成败的是上游的传感器选型、中游的算力成本、下游的场景适配。所以从2023年1月开始我给自己定了一个习惯每个月花两三天时间把计算机视觉这条产业链从头到尾梳理一遍记录关键变化。这个“产业链跟踪梳理”不是学术综述也不是投资研报它更像是一个从业者的工作笔记。我会关注上游的芯片和传感器有什么新动向中游的算法框架和开发工具有什么更新下游哪些场景在真正落地、哪些在退潮。这样做的价值在于当你下次要做一个视觉项目时你能快速判断现在这个时间点用什么方案性价比最高哪些坑已经被别人踩过了。1.2 产业链上中下游的划分方式计算机视觉的产业链我习惯按“数据从哪来、算法在哪跑、结果给谁用”这条主线来切。上游是感知层和算力层包括图像传感器、镜头模组、AI芯片、边缘计算设备中游是算法层和平台层包括开源框架、预训练模型、标注工具、训练平台、推理引擎下游是应用层覆盖安防、工业、医疗、零售、自动驾驶、消费电子等场景。这个划分不是绝对的。比如海康威视既做上游的摄像机也做中游的算法还做下游的行业解决方案。但作为跟踪框架它足够清晰能帮我把零散的信息归位。2023年1月这个时间点我重点跟踪的是三个变化一是国产AI芯片在推理侧的份额变化二是视觉大模型对传统算法方案的冲击三是工业质检场景从“试点”到“批量复制”的拐点是否到来。1.3 跟踪笔记的信息来源与筛选原则我跟踪信息的来源分四类。第一类是公开的行业报告和白皮书比如中国信通院、艾瑞、IDC的季度报告这类信息宏观但滞后适合看趋势。第二类是上市公司财报和招股书尤其是科创板里做机器视觉和AI芯片的公司财报里的营收结构和毛利率变化比任何研报都真实。第三类是开源社区和开发者论坛GitHub上的star增长、issue讨论、版本更新日志能反映技术栈的真实热度。第四类是一线从业者的交流包括微信群、线下meetup、以及和客户聊天时听到的“抱怨”这类信息最鲜活但需要交叉验证。筛选原则很简单只记录能影响技术选型或成本结构的信息。比如某款国产推理芯片降价30%这是有效信息某公司发布了一个新的视觉大模型但没公布推理成本这是无效信息。2023年1月我记录的关键词包括计算机视觉、边缘推理、视觉大模型、工业质检、数据标注成本。2. 上游感知与算力层的关键变化2.1 图像传感器全局快门与事件相机的渗透节奏2023年1月图像传感器这个环节最值得关注的是全局快门Global Shutter在工业场景的渗透。传统卷帘快门Rolling Shutter在拍摄高速运动物体时会产生果冻效应这在工业质检里是致命的。以前全局快门的传感器价格是卷帘的3到5倍很多项目为了省成本就忍了。但2022年下半年开始国产厂商在全局快门上的产能上来后价格差距缩小到1.5倍左右。我拿到的几个工业相机报价单显示200万像素全局快门CMOS模组2022年初还要800到1000元2023年1月已经降到500到600元区间。这个变化直接影响了产线质检的方案设计以前只能用卷帘快门加频闪光源来“冻结”画面现在可以直接上全局快门光源方案简化整体成本反而更低。事件相机Event Camera这个月没有大的价格变化依然停留在科研和小众场景。它的优势是只记录亮度变化延迟极低、功耗极低适合高速避障和低功耗监控。但缺点是输出的是异步事件流不是传统图像算法栈要重写。我个人的判断是2023年事件相机还不会大规模进入工业场景但做自动驾驶和机器人的人应该保持关注。2.2 AI推理芯片国产替代在边缘侧的实质性进展这个月我重点跟踪了边缘推理芯片的报价和供货情况。2022年很多项目因为缺芯被迫改用国产方案到了2023年1月国产芯片不再是“备胎”而是在性价比上真正有了竞争力。以某国产边缘推理芯片为例INT8算力8TOPS功耗5W批量采购价在200元以内而同级别的进口芯片还在400元以上。但这里有一个坑国产芯片的算力标称值往往是在理想条件下测的实际跑视觉模型时由于内存带宽和算子支持的限制有效算力可能只有标称的50%到70%。我实测过一个国产芯片跑YOLOv5s标称8TOPS实际帧率只比另一款标称4TOPS的进口芯片高20%。所以选型时不能只看算力数字一定要拿自己的模型去实测。另一个变化是计算机视觉推理框架的适配。以前国产芯片的SDK很难用算子覆盖不全模型转换经常失败。2023年1月主流国产芯片厂商基本都支持了ONNX和TFLite的模型导入部分还支持PyTorch直接导出。这意味着算法工程师不需要为了适配芯片去重写模型迁移成本大幅降低。2.3 镜头与光源被低估的成像质量决定因素很多做算法的人不重视镜头和光源觉得“算法能补”。我踩过的坑是在一个金属表面缺陷检测项目里算法换了三版指标始终上不去最后发现是镜头畸变导致边缘缺陷变形算法根本学不到稳定特征。换了远心镜头后同样的算法召回率从72%提到91%。2023年1月远心镜头和工业光源的国产化程度已经很高价格比进口低40%左右。但选型时要注意远心镜头的景深很浅适合测量但适合有高度差的表面光源方面频闪光源配合卷帘快门可以替代全局快门但频闪的同步信号如果和相机曝光不同步会出现亮度不均。这些细节在方案设计阶段就要确认不要等到现场调试才发现。3. 中游算法与平台层的技术选型实录3.1 开源框架与预训练模型从“造轮子”到“调轮子”2023年1月计算机视觉的开源生态已经非常成熟。检测有YOLO系列和DETR系列分割有Segment Anything的前身工作分类和特征提取有各种ViT变体。我的建议是除非你的场景非常特殊否则不要从零训练模型而是基于预训练模型做微调。但微调也有讲究。我试过在一个只有2000张标注图的工业缺陷数据集上直接微调YOLOv5mAP只有0.65后来改用冻结主干网络、只训练检测头mAP反而提到0.78。原因是数据量太少全量微调容易过拟合。所以小样本场景下计算机视觉模型的微调策略比模型结构更重要。另一个变化是视觉大模型Visual Foundation Model的兴起。2023年1月已经有多个视觉大模型开放API可以做零样本分类和检测。但我在实际测试中发现这些大模型在通用场景下表现惊艳在工业缺陷这种细粒度场景下零样本的准确率还不如小样本微调的传统模型。所以我的判断是大模型适合做数据预筛选和标注辅助不适合直接替代产线模型。3.2 数据标注成本结构与质量控制数据标注是计算机视觉项目里最容易被低估的成本项。2023年1月我跟踪了几个标注平台的报价2D框标注大约0.1到0.3元一个框语义分割按像素算一张图可能几元到几十元。一个中等规模的检测项目标注成本轻松超过十万。控制标注成本有几个实操技巧。第一先用预训练模型做预标注人工只做修正效率能提升3到5倍。第二制定详细的标注规范尤其是边界框的贴合标准、遮挡情况的处理规则否则返工成本极高。第三做标注质量抽检我通常按10%的比例抽检如果错误率超过5%就要求全部返工。还有一个坑标注人员的培训成本。工业缺陷的种类往往需要专业知识才能区分比如某种划痕和某种材料纹理的差异普通人根本分不清。这种情况下要么让产线质检员来标注要么让算法工程师先标注一批“黄金样本”作为参考。3.3 训练平台与推理引擎选型的三个硬指标训练平台方面2023年1月主流的选择还是PyTorchTensorFlow的份额在视觉领域继续萎缩。推理引擎方面ONNX Runtime、TensorRT、OpenVINO各有适用场景。我选型的三个硬指标是算子覆盖率、量化支持、跨平台部署能力。算子覆盖率决定了你的模型能不能顺利转换。我遇到过一个自定义的注意力模块在ONNX里没有对应算子转换直接失败最后只能重写。量化支持决定了你能不能把模型压到边缘设备上跑。TensorRT的INT8量化效果最好但校准过程比较麻烦ONNX Runtime的量化更简单但精度损失可能大一些。跨平台部署能力决定了你换芯片时要不要重写推理代码。ONNX在这方面优势明显基本做到了“一次导出到处运行”。4. 下游应用场景的落地进展与踩坑记录4.1 工业质检从“样板间”到“批量复制”的瓶颈工业质检是2023年计算机视觉落地最密集的场景之一。我跟踪的几个项目显示表面缺陷检测、尺寸测量、装配验证是三大主力需求。但“样板间”和“批量复制”之间有一道鸿沟样板间里光线可控、产品单一、节拍慢批量复制时每条产线的光照、震动、产品批次都有差异模型泛化能力面临考验。我踩过的一个坑是在实验室训练的模型到了产线现场因为传送带速度变化导致运动模糊检测率直接掉了一半。解决办法是在训练数据里加入不同速度下的模糊样本或者用全局快门加频闪来“冻结”画面。另一个坑是产线的电磁干扰导致相机丢帧这个只能从硬件布线上去解决算法层面无解。4.2 安防与零售存量市场的算法升级需求安防是计算机视觉最成熟的下游市场2023年1月的主要变化是存量摄像头的算法升级。以前的老旧摄像头只能录像现在通过边缘盒子接入AI算法可以实现人脸识别、行为分析、客流统计等功能。这个市场的特点是量大、单价低、对成本极度敏感。零售场景我跟踪的是自助结算和客流分析。自助结算的核心是商品识别技术路线从条形码向视觉识别迁移。但视觉识别的难点在于商品外观相似度高、遮挡严重、光线变化大。我见过一个方案在测试集上准确率99%到了真实超市只有85%原因是顾客拿取商品的角度和测试数据差异太大。所以零售场景的数据采集一定要在真实货架上做不能用实验室摆拍的数据。4.3 医疗与自动驾驶高价值但高门槛的长周期场景医疗影像和自动驾驶是计算机视觉的两个高价值场景但2023年1月的落地节奏明显慢于工业。医疗影像的瓶颈不在算法而在法规审批和数据获取。一个医疗AI模型从研发到拿证通常要两到三年而且需要多中心临床验证。自动驾驶的瓶颈在长尾场景和算力成本L4级别的自动驾驶每辆车的光雷达和摄像头成本依然很高。我个人的建议是如果你是算法工程师想进入这两个领域先确认自己能不能接受长周期的项目节奏。医疗影像可能半年都在等数据审批自动驾驶可能一年都在调同一个corner case。相比之下工业质检和零售的反馈周期短得多适合快速积累经验。5. 常见问题与排查技巧实录5.1 模型训练不收敛的排查清单训练不收敛是计算机视觉项目里最常见的问题。我整理了一个排查顺序先看数据再看标签再看模型最后看超参。数据方面检查图像是否有损坏、标注是否越界、类别是否极度不平衡。标签方面检查标注格式是否和模型输入匹配比如YOLO要求归一化的中心点和宽高如果你给了左上角和右下角坐标模型肯定学不到东西。模型方面先用一个极小的数据集比如10张图做过拟合测试如果模型连这10张图都拟合不了说明模型结构或损失函数有问题。超参方面学习率是最关键的我通常从1e-3开始试如果loss震荡就降到1e-4如果loss下降太慢就升到1e-2。还有一个容易被忽略的点数据增强的强度。如果增强太猛模型可能学不到有效特征尤其是小数据集场景。5.2 推理速度不达标的优化路径推理速度不达标时优化路径按成本从低到高排列第一降低输入分辨率这是最直接有效的但要注意小目标检测的精度损失。第二换更小的模型比如从YOLOv5m换到YOLOv5s。第三做量化INT8量化通常能提速2到3倍但需要校准数据。第四换推理引擎比如从ONNX Runtime换到TensorRT。第五换硬件这是最后的手段。我实测过一个案例YOLOv5s在CPU上跑640x640输入只有5FPS降到320x320后到15FPS再做INT8量化后到40FPS最后换到边缘NPU上到80FPS。每一步的精度损失都在1%以内但速度提升了16倍。所以优化是一个系统工程不要一上来就换硬件。5.3 现场部署的常见故障与应急处理现场部署的故障往往和实验室环境差异很大。我遇到过相机被强光干扰导致自动曝光失控画面一片白也遇到过网络抖动导致推理结果回传延迟产线已经流到下一站了才报警。应急处理的原则是先保生产再查原因。比如曝光问题可以临时锁定曝光时间和增益网络问题可以在边缘端做本地缓存和断网续传。还有一个常见故障是模型文件损坏或版本不匹配。我建议在部署包里加一个自检脚本启动时校验模型文件的MD5和推理引擎的版本号不匹配就直接报错不要等到跑了一半才崩。这个习惯帮我省了很多现场排查的时间。5.4 数据漂移的监测与模型迭代策略数据漂移是模型上线后精度下降的主要原因。2023年1月我跟踪的几个项目都开始重视这个问题。监测方法很简单定期抽样线上数据用当前模型推理人工检查错误率。如果错误率比上线时高了5%以上就说明数据漂移了需要重新标注和迭代模型。迭代策略上我推荐“增量训练全量验证”。增量训练是用新数据微调模型全量验证是用一个固定的测试集确认精度没有退化。注意不要只用新数据训练否则模型会“遗忘”旧场景。另一个技巧是保留一个“黄金测试集”这个测试集不参与训练只用于最终验证确保模型迭代方向正确。6. 个人实操心得与后续跟踪方向6.1 从跟踪笔记到项目决策的转化方法跟踪笔记的价值在于转化。我每个月梳理完产业链信息后会做一件事把信息映射到自己正在做或计划做的项目上。比如国产推理芯片降价我就重新算一遍边缘盒子的BOM成本视觉大模型有更新我就拿自己的数据集测一下零样本效果。这样跟踪笔记就不是“看过”而是“用过”。转化时要注意区分“行业趋势”和“项目机会”。行业趋势是大家都知道的比如AI芯片国产化项目机会是只有深入一线才能发现的比如某个特定场景下全局快门镜头的性价比拐点。跟踪笔记要重点记录后者因为前者在公开报告里都能看到。6.2 2023年后续值得关注的三个方向第一个方向是计算机视觉与多模态的融合。2023年1月已经能看到视觉语言模型在零样本检测上的潜力后续如果推理成本降下来可能会改变数据标注和模型微调的流程。第二个方向是边缘端的小样本学习工业场景的数据获取成本太高谁能用更少的数据达到可用的精度谁就有优势。第三个方向是3D视觉在工业测量和机器人抓取上的渗透随着深度相机价格下降这个市场的增速可能会超预期。6.3 给刚入行朋友的学习路线建议如果你刚入行计算机视觉我的建议是先跑通一个完整的项目从数据采集、标注、训练、部署到现场调试全部走一遍。不要一上来就啃论文论文里的SOTA和产线可用的方案之间差距很大。工具方面Python和PyTorch是必须的OpenCV和NumPy是基础ONNX和TensorRT是部署必备。Visual Studio Code和PyCharm选哪个不重要用顺手就行。学习路径上我推荐“项目驱动”定一个具体的小目标比如做一个车牌识别系统然后围绕这个目标去学检测、OCR、部署。遇到什么问题就学什么这样学得快、记得牢。最后再分享一个小技巧多逛GitHub的issue区很多实际问题的解决方案不在文档里而在别人的讨论里。我很多踩坑经验都是从issue里看来的。