这篇文章记录我在ai开发中面临到的问题以及对于如何更高效学习的思考第一部分# 学习目标快速掌握openmv是怎么在嵌入式开发中应用尝试能否优化识别算法实现在自动锁敌系统中无缝识别学习内容先了解摄像头在这个过程中发生了什么他是怎么传输的数据如何被处理如何用数学描述这得个过程如何代码描述这个过程学习时间2026年10月26日晚学习产出第一部分在学习过程中遇到上下文被污染问题一些错的不严谨的文章被ai读取输出并且在输出的过程中会面临解释不全版本过于陈旧我开发了一个skill让ai高精度输出读取之前先审查一遍文章的严谨性权威性并且整理出来一个大纲让读者快速理解讲了什么提升学习效率如果有人对于这个skill感兴趣私信我发你。第二部分具体学习理解dvp接口技术原理研究## 英文期刊DVP 接口标准原理最贴合你问的 “像素怎么传给 MCU”标题A DVP-Based Bridge Architecture to Randomly Access Pixels of High-Speed Image Sensors期刊EURASIP Journal on Embedded Systems链接https://jes-eurasipjournals.springeropen.com/articles/10.1155/2011/270908EURASIP Jo…学习理解XCLK 是主控给摄像头提供的时钟RGB565 两个时钟信号传输一个单位像素因为他是两个字节一个像素每传输一行数据 href 标记一下VSYNC 则是标记一帧数据的传输的结束或者开始上面是摄像头传输的数据的过程下面的是stm32处理信号的dcmi是stm32接受dvp时序信号的外设DMA把数据搬运到ram里的帧缓冲层里去为mcu腾出处理时间防止数据流失冲突单缓冲只用一块独立缓存省内存上限帧率低易花屏dma和mcu不能同时工作双缓存开销适中、时序简单缺点处理稍微慢一点就丢帧三缓冲除了费内存没有短板也需要队列管理写调度具体案例#includestdint.h#includestdbool.h// 配置区 #defineFRAME_BUF_CNT4// 4缓冲队列可以改成3/5#defineFRAME_WIDTH320#defineFRAME_HEIGHT240#defineFRAME_PIX_FORMAT2// RGB565 2字节/像素#defineFRAME_SIZE(FRAME_WIDTH*FRAME_HEIGHT*FRAME_PIX_FORMAT)// 帧缓冲结构体typedefstruct{uint8_tbuf[FRAME_SIZE];bool ready;// true这一帧采集完成等待上层读取}FrameBuf_t;// 队列staticFrameBuf_t frame_pool[FRAME_BUF_CNT];staticuint8_tq_wr_ptr0;// 写指针中断里DMA写入staticuint8_tq_rd_ptr0;// 读指针主循环取帧接下来我详细了解了一下数据处理时候到底发生了什么本质上就是在摄像头发过来的像素数据上做计算我现在对于数据处理这一部分有些理解的不是很透彻为什么yolo能够框住一个不规则物体而且框框还不会因为物体变化的位置变化而变形我突然意识到人脸识别本质上也是这样的计算处理在大概理解了一下摄像头数据传递到mcp里头是怎么处理的时候我诞生了一个想法在传过来的数据上做一个编码器以帧为最小重复单位传过来的每一个像素点有独立的编码这样的话就能做到能让mcp理解这个像素点在时间单位上是怎么变化的了也能锁定画面中心是哪个像素点了。以上学习任务结束于2026年10月27日2点整个学习时间4小时初步掌握摄像头传输出来的数据如何被处理如何被传输等等原理并且诞生出来新的对于技术的思考收获颇多。三个目标任务完成两个最后一个有点累了熬不住了。补充知识点YOLO 边界框回归原理YOLO 把图像切成 S×S 的网格每个网格负责预测落在其中的目标。对每个网格网络输出一个置信度、一个中心点偏移 (tx, ty) 和宽高 (tw, th)再经激活函数还原成真实坐标中心点被限制在本网格内宽高则通过指数映射还原为相对整幅图像的比例。关键在于网络回归的是「中心点 宽高」这 4 个数值而不是去拟合物体的轮廓像素所以无论物体是圆形、人形还是不规则形状输出的始终是一个与坐标轴平行的矩形框的形状不会随物体形变而改变只会随中心点和尺寸变化而平移、缩放。cx (sigmoid(tx) grid_x) / S # 中心点 x限制在所属网格内 cy (sigmoid(ty) grid_y) / S # 中心点 y w anchor_w * exp(tw), h anchor_h * exp(th) # 宽高按 anchor 缩放这也正是人脸识别的同源之处两者都是「在特征图上做回归 分类」人脸检测框同样由中心点和宽高回归得到只是损失函数和 anchor 设计针对人脸尺度做了调整。 
长河君 · 2026/10/28 10:28:55 · 阅读 1.2k 机器视觉学习记录帖子，包含高效学习思考方式，对于摄像模块的思考
这篇文章记录我在ai开发中面临到的问题以及对于如何更高效学习的思考第一部分# 学习目标快速掌握openmv是怎么在嵌入式开发中应用尝试能否优化识别算法实现在自动锁敌系统中无缝识别学习内容先了解摄像头在这个过程中发生了什么他是怎么传输的数据如何被处理如何用数学描述这得个过程如何代码描述这个过程学习时间2026年10月26日晚学习产出第一部分在学习过程中遇到上下文被污染问题一些错的不严谨的文章被ai读取输出并且在输出的过程中会面临解释不全版本过于陈旧我开发了一个skill让ai高精度输出读取之前先审查一遍文章的严谨性权威性并且整理出来一个大纲让读者快速理解讲了什么提升学习效率如果有人对于这个skill感兴趣私信我发你。第二部分具体学习理解dvp接口技术原理研究## 英文期刊DVP 接口标准原理最贴合你问的 “像素怎么传给 MCU”标题A DVP-Based Bridge Architecture to Randomly Access Pixels of High-Speed Image Sensors期刊EURASIP Journal on Embedded Systems链接https://jes-eurasipjournals.springeropen.com/articles/10.1155/2011/270908EURASIP Jo…学习理解XCLK 是主控给摄像头提供的时钟RGB565 两个时钟信号传输一个单位像素因为他是两个字节一个像素每传输一行数据 href 标记一下VSYNC 则是标记一帧数据的传输的结束或者开始上面是摄像头传输的数据的过程下面的是stm32处理信号的dcmi是stm32接受dvp时序信号的外设DMA把数据搬运到ram里的帧缓冲层里去为mcu腾出处理时间防止数据流失冲突单缓冲只用一块独立缓存省内存上限帧率低易花屏dma和mcu不能同时工作双缓存开销适中、时序简单缺点处理稍微慢一点就丢帧三缓冲除了费内存没有短板也需要队列管理写调度具体案例#includestdint.h#includestdbool.h// 配置区 #defineFRAME_BUF_CNT4// 4缓冲队列可以改成3/5#defineFRAME_WIDTH320#defineFRAME_HEIGHT240#defineFRAME_PIX_FORMAT2// RGB565 2字节/像素#defineFRAME_SIZE(FRAME_WIDTH*FRAME_HEIGHT*FRAME_PIX_FORMAT)// 帧缓冲结构体typedefstruct{uint8_tbuf[FRAME_SIZE];bool ready;// true这一帧采集完成等待上层读取}FrameBuf_t;// 队列staticFrameBuf_t frame_pool[FRAME_BUF_CNT];staticuint8_tq_wr_ptr0;// 写指针中断里DMA写入staticuint8_tq_rd_ptr0;// 读指针主循环取帧接下来我详细了解了一下数据处理时候到底发生了什么本质上就是在摄像头发过来的像素数据上做计算我现在对于数据处理这一部分有些理解的不是很透彻为什么yolo能够框住一个不规则物体而且框框还不会因为物体变化的位置变化而变形我突然意识到人脸识别本质上也是这样的计算处理在大概理解了一下摄像头数据传递到mcp里头是怎么处理的时候我诞生了一个想法在传过来的数据上做一个编码器以帧为最小重复单位传过来的每一个像素点有独立的编码这样的话就能做到能让mcp理解这个像素点在时间单位上是怎么变化的了也能锁定画面中心是哪个像素点了。以上学习任务结束于2026年10月27日2点整个学习时间4小时初步掌握摄像头传输出来的数据如何被处理如何被传输等等原理并且诞生出来新的对于技术的思考收获颇多。三个目标任务完成两个最后一个有点累了熬不住了。补充知识点YOLO 边界框回归原理YOLO 把图像切成 S×S 的网格每个网格负责预测落在其中的目标。对每个网格网络输出一个置信度、一个中心点偏移 (tx, ty) 和宽高 (tw, th)再经激活函数还原成真实坐标中心点被限制在本网格内宽高则通过指数映射还原为相对整幅图像的比例。关键在于网络回归的是「中心点 宽高」这 4 个数值而不是去拟合物体的轮廓像素所以无论物体是圆形、人形还是不规则形状输出的始终是一个与坐标轴平行的矩形框的形状不会随物体形变而改变只会随中心点和尺寸变化而平移、缩放。cx (sigmoid(tx) grid_x) / S # 中心点 x限制在所属网格内 cy (sigmoid(ty) grid_y) / S # 中心点 y w anchor_w * exp(tw), h anchor_h * exp(th) # 宽高按 anchor 缩放这也正是人脸识别的同源之处两者都是「在特征图上做回归 分类」人脸检测框同样由中心点和宽高回归得到只是损失函数和 anchor 设计针对人脸尺度做了调整。