186、安防AI-ISP的实战落地——海思Hi3559A上如何用NPU做语义分割驱动的局部降噪强度映射,算力开销仅增加15% 186、安防AI-ISP的实战落地——海思Hi3559A上如何用NPU做语义分割驱动的局部降噪强度映射,算力开销仅增加15%从一场凌晨三点的“鬼影”事故说起去年做某市平安城市二期项目,前端IPC用的是海思Hi3559A方案,传感器是IMX385,照度0.01Lux下要求彩色画面能看清车牌。实验室里调了两个月,降噪参数压到极限,主观效果勉强能看。结果一上杆,凌晨三点,路灯背光、树叶晃动、偶尔一辆车开着远光灯冲过来,画面直接崩了——暗区噪点糊成一片,亮区边缘又拖出明显的运动鬼影。客户半夜打电话,语气还算客气,但话里话外就一个意思:你们这算法是不是没做过夜晚场景?我连夜抓了原始RAW和ISP中间态数据回放,发现问题的根子不在降噪算法本身,而在降噪强度的空间分布。传统ISP的NR模块,无论是时域还是空域,强度参数是整帧统一的。暗区需要强降噪,但强降噪会把运动物体的边缘抹成“果冻”;亮区信噪比高,根本不需要那么强的NR,但全局参数下它也被迫承受了同样的处理代价。更要命的是,背光场景下暗区占画面比例大,全局NR强度一旦拉高,亮区的高频细节和边缘就全毁了。当时团队里有人提议做分块统计,按亮度直方图把画面切成16x16的网格,每个网格单独调NR强度。试了一版,效果有改善,但网格边界处强度跳变明显,画面像打了马赛克。而且遇到大面积暗区里有个小亮斑(比如车灯),网格统计根本分不清那是噪声还是信号,降噪强度照样误判。为什么是语义分割,而不是传统图像分类或目标检测安防场景的难点在于“区域语义”和“噪声感知”是强耦合的。天空区域噪声感知最敏感,但