同一块开发板四种完全不同的项目方向。每个都给你完整的数据流、用到的模块和关键技术点。开篇一块开发板到手最兴奋也最迷茫的时刻就是我能用它做什么。Pico-G1 的硬件能力——GK7206V1 的圆鸮 AI ISP 引擎、1.0T NPU、完整 ISP Pipeline、H.265 硬编码——决定了它不止局限于做个摄像头。这篇给你四个完整的项目方案每个都包含数据流设计、Pico-G1 各模块分工和关键技术实现细节。场景一家庭 AI 安防摄像头项目概述做一个能自动检测人形、录像存储、RTSP 远程查看的智能安防摄像头。这是 Pico-G1 最原教旨的用法——IPC 就该干 IPC 的事。数据流设计SC465SL Sensor (2560×144030fps, MIPI 4-lane) ↓ VI_CAP (MIPI 接收) ↓ VI_PROC (裁剪、去噪预处理) ↓ [在线模式] VPSS (多路输出) ├─ 通道0: 2560×1440 → VENC(H.265主码流) → SD卡循环录像 ├─ 通道1: 640×360 → NPU(人形检测, SVP) └─ 通道2: 1280×720 → VENC(H.264子码流) → RTSP推流预览Pico-G1 模块分工关键技术点双码流策略主码流 2560×1440 H.265 用于本地高清录像存 SD 卡子码流 1280×720 H.264 用于手机 APP 远程预览低带宽。VPSS 的同源多路输出天然支持这种设计不需要数据拷贝。AI 联动智能编码SVP 推理参数中的 smart_venc_enable true 可以在检测到人形时自动提高编码质量无人时降低码率节省存储。这个功能对大部分时间画面静止、偶尔有人经过的安防场景非常实用。AI_NR 降噪夜间安防的刚需。Pico-G1 的 AI_NR 在 Bayer Raw 域做降噪仅消耗 0.5T NPU——剩余 0.5T 跑人形检测两者并发不冲突。这是 GK7206V1 的架构优势NPU 可以同时服务画质和 AI 两个任务。报警触发逻辑SVP 检测返回的 xmedia_svp_yolov5_output.target_num 0 即表示画面中有人触发邮件/推送/蜂鸣器报警。场景二智能门铃 / 猫眼项目概述做一个能识别来人身份、AOV 常在线、检测到人脸自动抓拍推送的智能门铃。数据流设计广角Sensor (常在线低帧率AOV模式) ↓ VI → ISP(AI_NR LDC畸变校正) → VPSS ├─ 通道0 → NPU(人脸检测 人脸识别, 三模型级联) │ ↓ 检测到人脸 │ ├─ 抓拍编码(JPEG) → SD卡 │ ├─ 推送通知(通过Wi-Fi) │ └─ GPIO 蜂鸣器提示 └─ 通道1 → AOV低帧率预览Pico-G1 模块分工关键技术点人脸识别三模型级联xmedia_svp_modules modules[3]; // 模型1: 人脸检测 modules[0].alg_type XMEDIA_SVP_ALG_TYPE_FACE; modules[0].pathname ./model/gnn_face_detect_640x360_rgb888hwc.bin; // 模型2: 人脸关键点定位 modules[1].pathname ./model/gnn_face_keypoint_48x48_rgb888hwc.bin; // 模型3: 人脸特征提取用于比对识别 modules[2].pathname ./model/gnn_face_recognition_112x112_rgb888hwc.bin; task_cfg.module_num 3; task_cfg.task_type XMEDIA_SVP_TASK_FACE_RECOGNITON;三个模型在 SVP 框架中自动级联——检测 → 关键点 → 特征提取——开发者不用手动管理模型间的数据传递。AOV 低功耗长在线门铃产品需要 7×24 小时运行但不可能一直满帧率。GK7206V1 的 AOV 模式支持 1~2fps 低帧率持续监控检测到人脸后快速唤醒全速模式15fps——帧率切换由应用层根据 SVP 检测结果触发。LDC 畸变校正门铃通常配广角镜头覆盖更大视角但桶形畸变会使人脸变形影响识别准确度。Pico-G1 ISP 的 LDC 模块在 VPSS 前做几何校正保证送给 NPU 的图像是矫正后的——这对人脸识别的准确率有直接影响。场景三车载行车记录仪项目概述做一个支持 WDR 宽动态、循环录制、碰撞/运动检测自动锁存关键片段的记录仪。数据流设计WDR Sensor (线性短曝光双帧) ↓ VI → ISP(WDR Tone Mapping) → VPSS ├─ 通道0 → VENC(H.265, 主码流) → SD卡 循环录像 └─ 通道1 → NPU(运动检测) → 检测到事件 → 锁存当前录像段Pico-G1 模块分工关键技术点WDR 双帧合成车载场景的典型痛点——进出隧道、逆光行驶、夜间车灯直射。WDR 通过 Sensor 输出一帧长曝光暗区细节 一帧短曝光亮区不过曝ISP 做 Tone Mapping 合成。Pico-G1 的 WDR 在 sample_vio 模式 3 和 4 中可直接验证参数通过 ISP API 调整。H.265 节省存储行车记录仪是典型的大量写入、偶尔读取场景。H.265 相比 H.264 在同画质下码率降低约 40%意味着同样 128GB 的 SD 卡可以多存约 70% 的录像时长。Pico-G1 的 H.265 是纯硬件编码对 CPU 和功耗无额外影响。事件锁存SVP 检测到运动事件如果接了加速度传感器碰撞事件优先级更高→ 标记当前录像文件段为保护状态 → 不被循环覆盖。实现上可以在应用层维护一个保护文件列表循环覆盖时跳过。场景四工业视觉分拣原型项目概述做一个基于 AI 的产品分类或缺陷检测原型MIPI 直连工业相机 SensorGPIO 输出分拣信号控制外部执行机构。数据流设计工业 Sensor (高分辨率 Raw) ↓ VI → ISP(高色彩准确度 高锐度配置) → VPSS ├─ 通道0 → NPU(自定义分类/检测模型) │ ↓ 推理结果 │ ├─ GPIO 输出分拣信号(合格/不合格) │ └─ VGS 画框标注 → VENC 记录 └─ 通道1 → RTSP 实时监控画面Pico-G1 模块分工关键技术点自定义模型部署全路径在 PC 上用 PyTorch 训练好分类/检测模型导出为 ONNX 格式torch.onnx.export(model, dummy_input, model.onnx)使用 SDK 自带的量化编译工具将 ONNX 转为 INT8 精度的 .bin 文件在板端通过 SVP API 加载modules[0].pathname ./model/my_model.bin任务创建后推理调用方式与内置模型完全一致ISP 色彩调优工业视觉对色彩准确度要求高于安防场景——一个不那么明显的色差可能导致分类错误。Pico-G1 ISP 支持固定白平衡关闭 AWB、固定曝光关闭 AE以及独立的色彩校正矩阵CCM配置。这些参数在 ISP 开发参考手册中有完整的配置方法。GPIO 触发信号时序推理结果 → 软件判断 → GPIO 输出高低电平。在 Linux 字符设备接口下GPIO 切换延迟通常在微秒级满足大多数工业分拣的响应时间要求毫秒级。结语四个场景四种完全不同的 Pico-G1 打开方式——但底层都是同一套 MPP SVP ISP 架构。这正是 Pico-G1 作为开发平台最核心的价值你掌握的是一套通用的 IPC 开发技能而不是只能做一个产品的定型方案。 掌握了视频链路VI→ISP→VPSS→VENC、AI 框架SVP、编码配置和 GPIO 控制之后从一个场景切换到另一个场景的成本主要是业务逻辑——而不是重新学习平台。选一个你感兴趣的场景从 sample_vio 0 1 开始。跑通第一个 RTSP 推流的那一刻你离一个真正的产品原型就差业务代码了。 
长河君 · 2026/10/10 5:47:06 · 阅读 1.2k GK7206 AI-IPC 四大应用场景方案：单目枪机/球机/双目枪球/广角拼接
同一块开发板四种完全不同的项目方向。每个都给你完整的数据流、用到的模块和关键技术点。开篇一块开发板到手最兴奋也最迷茫的时刻就是我能用它做什么。Pico-G1 的硬件能力——GK7206V1 的圆鸮 AI ISP 引擎、1.0T NPU、完整 ISP Pipeline、H.265 硬编码——决定了它不止局限于做个摄像头。这篇给你四个完整的项目方案每个都包含数据流设计、Pico-G1 各模块分工和关键技术实现细节。场景一家庭 AI 安防摄像头项目概述做一个能自动检测人形、录像存储、RTSP 远程查看的智能安防摄像头。这是 Pico-G1 最原教旨的用法——IPC 就该干 IPC 的事。数据流设计SC465SL Sensor (2560×144030fps, MIPI 4-lane) ↓ VI_CAP (MIPI 接收) ↓ VI_PROC (裁剪、去噪预处理) ↓ [在线模式] VPSS (多路输出) ├─ 通道0: 2560×1440 → VENC(H.265主码流) → SD卡循环录像 ├─ 通道1: 640×360 → NPU(人形检测, SVP) └─ 通道2: 1280×720 → VENC(H.264子码流) → RTSP推流预览Pico-G1 模块分工关键技术点双码流策略主码流 2560×1440 H.265 用于本地高清录像存 SD 卡子码流 1280×720 H.264 用于手机 APP 远程预览低带宽。VPSS 的同源多路输出天然支持这种设计不需要数据拷贝。AI 联动智能编码SVP 推理参数中的 smart_venc_enable true 可以在检测到人形时自动提高编码质量无人时降低码率节省存储。这个功能对大部分时间画面静止、偶尔有人经过的安防场景非常实用。AI_NR 降噪夜间安防的刚需。Pico-G1 的 AI_NR 在 Bayer Raw 域做降噪仅消耗 0.5T NPU——剩余 0.5T 跑人形检测两者并发不冲突。这是 GK7206V1 的架构优势NPU 可以同时服务画质和 AI 两个任务。报警触发逻辑SVP 检测返回的 xmedia_svp_yolov5_output.target_num 0 即表示画面中有人触发邮件/推送/蜂鸣器报警。场景二智能门铃 / 猫眼项目概述做一个能识别来人身份、AOV 常在线、检测到人脸自动抓拍推送的智能门铃。数据流设计广角Sensor (常在线低帧率AOV模式) ↓ VI → ISP(AI_NR LDC畸变校正) → VPSS ├─ 通道0 → NPU(人脸检测 人脸识别, 三模型级联) │ ↓ 检测到人脸 │ ├─ 抓拍编码(JPEG) → SD卡 │ ├─ 推送通知(通过Wi-Fi) │ └─ GPIO 蜂鸣器提示 └─ 通道1 → AOV低帧率预览Pico-G1 模块分工关键技术点人脸识别三模型级联xmedia_svp_modules modules[3]; // 模型1: 人脸检测 modules[0].alg_type XMEDIA_SVP_ALG_TYPE_FACE; modules[0].pathname ./model/gnn_face_detect_640x360_rgb888hwc.bin; // 模型2: 人脸关键点定位 modules[1].pathname ./model/gnn_face_keypoint_48x48_rgb888hwc.bin; // 模型3: 人脸特征提取用于比对识别 modules[2].pathname ./model/gnn_face_recognition_112x112_rgb888hwc.bin; task_cfg.module_num 3; task_cfg.task_type XMEDIA_SVP_TASK_FACE_RECOGNITON;三个模型在 SVP 框架中自动级联——检测 → 关键点 → 特征提取——开发者不用手动管理模型间的数据传递。AOV 低功耗长在线门铃产品需要 7×24 小时运行但不可能一直满帧率。GK7206V1 的 AOV 模式支持 1~2fps 低帧率持续监控检测到人脸后快速唤醒全速模式15fps——帧率切换由应用层根据 SVP 检测结果触发。LDC 畸变校正门铃通常配广角镜头覆盖更大视角但桶形畸变会使人脸变形影响识别准确度。Pico-G1 ISP 的 LDC 模块在 VPSS 前做几何校正保证送给 NPU 的图像是矫正后的——这对人脸识别的准确率有直接影响。场景三车载行车记录仪项目概述做一个支持 WDR 宽动态、循环录制、碰撞/运动检测自动锁存关键片段的记录仪。数据流设计WDR Sensor (线性短曝光双帧) ↓ VI → ISP(WDR Tone Mapping) → VPSS ├─ 通道0 → VENC(H.265, 主码流) → SD卡 循环录像 └─ 通道1 → NPU(运动检测) → 检测到事件 → 锁存当前录像段Pico-G1 模块分工关键技术点WDR 双帧合成车载场景的典型痛点——进出隧道、逆光行驶、夜间车灯直射。WDR 通过 Sensor 输出一帧长曝光暗区细节 一帧短曝光亮区不过曝ISP 做 Tone Mapping 合成。Pico-G1 的 WDR 在 sample_vio 模式 3 和 4 中可直接验证参数通过 ISP API 调整。H.265 节省存储行车记录仪是典型的大量写入、偶尔读取场景。H.265 相比 H.264 在同画质下码率降低约 40%意味着同样 128GB 的 SD 卡可以多存约 70% 的录像时长。Pico-G1 的 H.265 是纯硬件编码对 CPU 和功耗无额外影响。事件锁存SVP 检测到运动事件如果接了加速度传感器碰撞事件优先级更高→ 标记当前录像文件段为保护状态 → 不被循环覆盖。实现上可以在应用层维护一个保护文件列表循环覆盖时跳过。场景四工业视觉分拣原型项目概述做一个基于 AI 的产品分类或缺陷检测原型MIPI 直连工业相机 SensorGPIO 输出分拣信号控制外部执行机构。数据流设计工业 Sensor (高分辨率 Raw) ↓ VI → ISP(高色彩准确度 高锐度配置) → VPSS ├─ 通道0 → NPU(自定义分类/检测模型) │ ↓ 推理结果 │ ├─ GPIO 输出分拣信号(合格/不合格) │ └─ VGS 画框标注 → VENC 记录 └─ 通道1 → RTSP 实时监控画面Pico-G1 模块分工关键技术点自定义模型部署全路径在 PC 上用 PyTorch 训练好分类/检测模型导出为 ONNX 格式torch.onnx.export(model, dummy_input, model.onnx)使用 SDK 自带的量化编译工具将 ONNX 转为 INT8 精度的 .bin 文件在板端通过 SVP API 加载modules[0].pathname ./model/my_model.bin任务创建后推理调用方式与内置模型完全一致ISP 色彩调优工业视觉对色彩准确度要求高于安防场景——一个不那么明显的色差可能导致分类错误。Pico-G1 ISP 支持固定白平衡关闭 AWB、固定曝光关闭 AE以及独立的色彩校正矩阵CCM配置。这些参数在 ISP 开发参考手册中有完整的配置方法。GPIO 触发信号时序推理结果 → 软件判断 → GPIO 输出高低电平。在 Linux 字符设备接口下GPIO 切换延迟通常在微秒级满足大多数工业分拣的响应时间要求毫秒级。结语四个场景四种完全不同的 Pico-G1 打开方式——但底层都是同一套 MPP SVP ISP 架构。这正是 Pico-G1 作为开发平台最核心的价值你掌握的是一套通用的 IPC 开发技能而不是只能做一个产品的定型方案。 掌握了视频链路VI→ISP→VPSS→VENC、AI 框架SVP、编码配置和 GPIO 控制之后从一个场景切换到另一个场景的成本主要是业务逻辑——而不是重新学习平台。选一个你感兴趣的场景从 sample_vio 0 1 开始。跑通第一个 RTSP 推流的那一刻你离一个真正的产品原型就差业务代码了。