MediaPipe 使用教程3 分钟在 Python 里跑通人脸网格与目标检测【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe做视频会议应用时你大概率不想把用户的摄像头画面传到云端去做人脸追踪——既要低延迟又要保护隐私。MediaPipe 就是 Google 开源的一套“端侧机器学习”工具集官方定位是“Cross-platform, customizable ML solutions for live and streaming media”也就是面向直播流媒体的、跨平台且可定制的 ML 解决方案覆盖 Android、iOS、Web、桌面和边缘设备见 README.md。打个比方传统做法是“每个功能从头训练部署一条龙”而 MediaPipe 像是一套带预装发动机的整车——人脸网格、手势识别、姿态估计这些常用“发动机”都配好了你负责把车你的 App开起来如果现成发动机不满足需求还能自己造一个。开箱能拿到什么MediaPipe Tasks跨平台 API官方提供了视觉Vision、文本Text、音频Audio三类任务的开发者指南配预训练模型即可使用且代码完全开源可改README.md。Model Maker 与 Studio前者用你自己的数据微调模型后者在浏览器里可视化、评估和做基准测试方便选型。Framework 层底层用 Packet数据包、Graph图、Calculator计算器三个概念拼装高效推理流水线适合 C、Android、iOS 深度定制docs/framework_concepts/framework_concepts.md。隐私友好使用 MediaPipe Tasks 时输入数据图片、视频、文本在设备上处理不会发到 Google 服务器README.md。三分钟安装 MediaPipe Python 版最快的路径是 Python 预构建包支持 Linux、macOS 和 Windowsdocs/getting_started/python.mdpython3 -m venv mp_env source mp_env/bin/activate pip install mediapipe装完后三行就能调用人脸网格Face Mesh即在脸上定位 468 个关键点import mediapipe as mp mp_face_mesh mp.solutions.face_mesh人脸检测、手部位姿、Holistic脸手姿态一体等现成方案都在mp.solutions下文档里还附了官方 Colab 笔记本不用配环境就能先跑一遍。自己搭流水线C Framework 层想在桌面端跑自己的计算图需要先装 Bazelisk 和 OpenCV推荐 3.x~4.1 版本然后编译运行 Hello World 示例验证环境docs/getting_started/install.mdexport GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 \ mediapipe/examples/desktop/hello_world:hello_world跑通后会连续打印 “Hello World!”说明计算图、调度器、线程池整条链路都正常接下来就可以往图里加自己的 Calculator 了。实战技巧两帧之间的光流估计光流Optical Flow描述的是相邻两帧之间每个像素的位移方向与大小可用于目标预测、运动补偿等。MediaPipe 把光流结果封装成OpticalFlowField类内部为每个像素存 dx、dy 两个分量mediapipe/framework/formats/motion/optical_flow_field.h几个实用方法FollowFlow()用双线性插值做亚像素级轨迹预测把 (x, y) 传播到下一帧位置GetVisualization()生成彩色轮可视化——色相代表运动方向、饱和度代表幅度EstimateMotionConsistencyOcclusions()做前向-后向一致性校验标出遮挡/消遮挡像素CopyFromTensor()/ConvertToProto()与模型输出张量、Proto 序列化互转方便进计算图或落盘。计算环节由Tvl1OpticalFlowCalculator基于 OpenCV DenseOpticalFlow完成支持前向流、后向流输出max_in_flight可让多帧并行处理mediapipe/calculators/video/tvl1_optical_flow_calculator.ccnode { calculator: Tvl1OpticalFlowCalculator input_stream: FIRST_FRAME:first_frames input_stream: SECOND_FRAME:second_frames output_stream: FORWARD_FLOW:forward_flow output_stream: BACKWARD_FLOW:backward_flow max_in_flight: 10 }常见坑与 FAQOpenCV 版本官方推荐 3.x~4.1装 OpenCV 4 时要按当前架构修改third_party/opencv_linux.BUILD否则编译报错。编译器版本gcc/g 6.3 和 7.3 与 TensorFlow Calculator 有已知问题换个版本即可。Legacy 方案已停更老版 Solutions 自 2023-03-01 起结束支持以“as-is”方式保留新项目建议直接用 Tasks APIdocs/solutions/solutions.md。aarch64 无预构建 wheelPyPI 上没有 aarch64 的 Python 包Jetson、树莓派等 ARM 设备需从源码编译docs/getting_started/python.md。指标上报输入数据留在本地但 Tasks API 会上报性能指标商用时注意向用户取得同意README.md。遇到问题先看仓库的 docs/getting_started/troubleshooting.md它整理了常见构建问题的解法。资源入口一句话总结MediaPipe 让你把人脸、手势、姿态、目标检测这些视觉能力“端上即用”还能下钻到 Calculator 层做深度定制。入口资源安装指南 docs/getting_started/install.md、方案清单 docs/solutions/solutions.md、框架概念 docs/framework_concepts/framework_concepts.md问题反馈走仓库 issues社区讨论可用官方 Slack 与论坛。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/2 22:37:22 · 阅读 1.2k MediaPipe 使用教程：3 分钟在 Python 里跑通人脸网格与目标检测
MediaPipe 使用教程3 分钟在 Python 里跑通人脸网格与目标检测【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe做视频会议应用时你大概率不想把用户的摄像头画面传到云端去做人脸追踪——既要低延迟又要保护隐私。MediaPipe 就是 Google 开源的一套“端侧机器学习”工具集官方定位是“Cross-platform, customizable ML solutions for live and streaming media”也就是面向直播流媒体的、跨平台且可定制的 ML 解决方案覆盖 Android、iOS、Web、桌面和边缘设备见 README.md。打个比方传统做法是“每个功能从头训练部署一条龙”而 MediaPipe 像是一套带预装发动机的整车——人脸网格、手势识别、姿态估计这些常用“发动机”都配好了你负责把车你的 App开起来如果现成发动机不满足需求还能自己造一个。开箱能拿到什么MediaPipe Tasks跨平台 API官方提供了视觉Vision、文本Text、音频Audio三类任务的开发者指南配预训练模型即可使用且代码完全开源可改README.md。Model Maker 与 Studio前者用你自己的数据微调模型后者在浏览器里可视化、评估和做基准测试方便选型。Framework 层底层用 Packet数据包、Graph图、Calculator计算器三个概念拼装高效推理流水线适合 C、Android、iOS 深度定制docs/framework_concepts/framework_concepts.md。隐私友好使用 MediaPipe Tasks 时输入数据图片、视频、文本在设备上处理不会发到 Google 服务器README.md。三分钟安装 MediaPipe Python 版最快的路径是 Python 预构建包支持 Linux、macOS 和 Windowsdocs/getting_started/python.mdpython3 -m venv mp_env source mp_env/bin/activate pip install mediapipe装完后三行就能调用人脸网格Face Mesh即在脸上定位 468 个关键点import mediapipe as mp mp_face_mesh mp.solutions.face_mesh人脸检测、手部位姿、Holistic脸手姿态一体等现成方案都在mp.solutions下文档里还附了官方 Colab 笔记本不用配环境就能先跑一遍。自己搭流水线C Framework 层想在桌面端跑自己的计算图需要先装 Bazelisk 和 OpenCV推荐 3.x~4.1 版本然后编译运行 Hello World 示例验证环境docs/getting_started/install.mdexport GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 \ mediapipe/examples/desktop/hello_world:hello_world跑通后会连续打印 “Hello World!”说明计算图、调度器、线程池整条链路都正常接下来就可以往图里加自己的 Calculator 了。实战技巧两帧之间的光流估计光流Optical Flow描述的是相邻两帧之间每个像素的位移方向与大小可用于目标预测、运动补偿等。MediaPipe 把光流结果封装成OpticalFlowField类内部为每个像素存 dx、dy 两个分量mediapipe/framework/formats/motion/optical_flow_field.h几个实用方法FollowFlow()用双线性插值做亚像素级轨迹预测把 (x, y) 传播到下一帧位置GetVisualization()生成彩色轮可视化——色相代表运动方向、饱和度代表幅度EstimateMotionConsistencyOcclusions()做前向-后向一致性校验标出遮挡/消遮挡像素CopyFromTensor()/ConvertToProto()与模型输出张量、Proto 序列化互转方便进计算图或落盘。计算环节由Tvl1OpticalFlowCalculator基于 OpenCV DenseOpticalFlow完成支持前向流、后向流输出max_in_flight可让多帧并行处理mediapipe/calculators/video/tvl1_optical_flow_calculator.ccnode { calculator: Tvl1OpticalFlowCalculator input_stream: FIRST_FRAME:first_frames input_stream: SECOND_FRAME:second_frames output_stream: FORWARD_FLOW:forward_flow output_stream: BACKWARD_FLOW:backward_flow max_in_flight: 10 }常见坑与 FAQOpenCV 版本官方推荐 3.x~4.1装 OpenCV 4 时要按当前架构修改third_party/opencv_linux.BUILD否则编译报错。编译器版本gcc/g 6.3 和 7.3 与 TensorFlow Calculator 有已知问题换个版本即可。Legacy 方案已停更老版 Solutions 自 2023-03-01 起结束支持以“as-is”方式保留新项目建议直接用 Tasks APIdocs/solutions/solutions.md。aarch64 无预构建 wheelPyPI 上没有 aarch64 的 Python 包Jetson、树莓派等 ARM 设备需从源码编译docs/getting_started/python.md。指标上报输入数据留在本地但 Tasks API 会上报性能指标商用时注意向用户取得同意README.md。遇到问题先看仓库的 docs/getting_started/troubleshooting.md它整理了常见构建问题的解法。资源入口一句话总结MediaPipe 让你把人脸、手势、姿态、目标检测这些视觉能力“端上即用”还能下钻到 Calculator 层做深度定制。入口资源安装指南 docs/getting_started/install.md、方案清单 docs/solutions/solutions.md、框架概念 docs/framework_concepts/framework_concepts.md问题反馈走仓库 issues社区讨论可用官方 Slack 与论坛。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考