简介这份资源面向想入门手势识别与形状分析的开发者及课程设计学生提供一套从图像采集到分类识别的完整Python实现重点演示傅里叶描述子与椭圆傅里叶描述子的提取、归一化流程并配合KNN与SVM完成模型训练和对比。包内标注文件总数约2000类型以大量txt数据与标签、png手势样本为主另含m脚本、py程序、PyQt5界面资源及说明文档压缩包约142.52MB样本库与代码集中存放便于直接复现实验。该资源已有13878人学习下载适合作为机器学习与计算机视觉综合实践的参考。读者可据此梳理图像平滑、OTSU肤色分割、八邻域轮廓搜索到轮廓曲线提取的完整链路对照训练脚本理解特征工程与分类器调参思路也可在简易界面上完成手势图片的交互测试快速搭建自己的识别原型。1. 摄像头对着手比个 OK 结果跳出 fist——问题多半不在模型这种翻车在手势识别里太常见分类器本身没毛病出问题的是特征没能把“形状”这件事描述清楚。这份基于傅里叶算子Fourier Descriptor的手势识别 Python 源码走的是一条看起来保守、实际上很稳的路线手部轮廓 → 等弧长重采样 → 离散傅里叶变换 → 取低频幅值做归一化 → 拼上凸缺陷特征 → 送进 SVM 分类。整套流程不依赖 GPU也不依赖深度相机普通 RGB 摄像头配一份自带的手势样本库就能跑起来。它适合两类人一类是做课程设计或毕设需要一套原理讲得清、代码量可控的手势识别系统另一类是手上有低算力板子需要一个特征维度在几十维量级、推理开销可预测的分类器。下面把这条流水线拆开从数学到代码到踩坑一节一节走完。2. 傅里叶描述子为什么能扛轮廓任务三个不变性与一次选型2.1 把轮廓点摊到复平面上一条闭合轮廓本质上是一串有序的点 (x₀,y₀), (x₁,y₁), …, (x_{N-1},y_{N-1})。傅里叶描述子的第一步是把这对实数坐标压成一个复数序列z(n) x(n) j·y(n)n 0, 1, …, N-1这一步看着像数学游戏实际意义很直接二维平面上的点被映射成复平面上的一个点于是“沿轮廓走一圈”就变成“在复平面上画一条闭合曲线”而闭合曲线天然适合用周期序列的工具处理。对 z(n) 做 N 点 DFTZ(k) Σ_{n0}^{N-1} z(n)·exp(-j2πkn/N)k 0, 1, …, N-1得到的 Z(k) 就是傅里叶描述子。低频分量描述轮廓的整体形状大致是个圆的、细长的、还是带分叉的高频分量描述指尖、指缝这类局部细节。工程上几乎不会用全部 N 个系数因为高频部分对噪声极其敏感轮廓上抖动一两个像素第 40 个系数就能翻倍。常见做法是只保留前 15 到 25 个低频系数把后面的直接扔掉。这里必须点明一个常被忽略的前提做 DFT 之前轮廓必须重采样成固定点数。因为不同手势、不同距离下cv2.findContours 返回的点数完全不一样可能是 300 个也可能是 1200 个。点数不同DFT 的频率分辨率就不同第 k 个系数对应的物理含义也跟着变了特征向量之间根本没法比较。这个环节在后面 4.2 节会展开。2.2 三个不变性以及它们在线性代数上是怎么实现的手势识别最怕的是“同一个人比同一个手势位置偏一点、手伸远一点、手腕转一点特征就全变了”。傅里叶描述子之所以在轮廓任务上长期占一席之地就是因为它对这三件事有天生的免疫力而且实现成本极低。变化对 z(n) 的影响对 Z(k) 的影响工程处理平移z(n) cc 为复常数只有 Z(0) 变成 Z(0) N·c丢弃 Z(0)缩放α·z(n)所有 Z(k) 同乘 α全部除以 |Z(1)|旋转e^{jθ}·z(n)所有 Z(k) 同乘 e^{jθ}取幅值 |Z(k)|起点偏移z(n-n₀)Z(k)·e^{-j2πkn₀/N}取幅值后自动消失这张表是整个方法的核心值得逐行对照代码看一遍。平移只污染直流项所以第一件事是把 Z(0) 扔掉缩放是对所有系数做同一个乘法所以随便挑一个非零系数通常取 |Z(1)|它是能量最大的低频项做除数就能把尺度因子约掉旋转是乘一个单位复数取模就没了起点偏移是乘一个相位因子取模同样没了。合起来就是那句常被引用的话|Z(k)| / |Z(1)|k 1, 2, …, M是一组对平移、缩放、旋转、起点都不变的形状描述子。注意这里有一个容易被略过的副作用既然旋转不变性靠“取模”实现那么所有关于相位的方向信息就都丢了。这意味着左右镜像的两个手势比如手心朝内和手心朝外比同一个 V在幅值谱上几乎完全一致。这不是实现 bug是方法本身的边界。后面 5.4 节会给出补丁方案。2.3 为什么这里不直接上 CNN也不只用 Hu 矩先说 CNN。一个五分类的手势识别用迁移学习微调一个小 backbone准确率确实能压过傅里叶描述子。但代价是需要几千张带标注的图、需要 GPU 训练、模型体积几十 MB、推理延迟不可控。在“样本库只有几百张、目标平台是树莓派或者一块没有 NPU 的开发板”这个具体场景下这套代价是付不起的。傅里叶描述子加 SVM 的组合训练在笔记本上几秒钟跑完模型序列化之后几十 KB单帧特征提取在 CPU 上是毫秒级——这是量级上的差别。再说 Hu 矩。Hu 的七个不变矩同样具备平移、缩放、旋转不变性实现比傅里叶描述子还简单为什么这里没选它关键区别在信息密度。七个矩是七个标量描述能力天花板很低遇到“手指张开程度不同但整体轮廓相近”的类别比如 palm 和 five就容易糊在一起。傅里叶描述子可以做 20 维、40 维而且维度和频率是有物理对应的前几个系数管整体形状中间几个管分叉结构调参时有抓手。Hu 矩的七个数字之间没有这种可解释的层次。第三种常见选择是直接拿轮廓点做特征比如极坐标下每 5 度采一个半径得到 72 维。这个方案的问题是对起点敏感必须额外做对齐而且对手腕角度变化很脆弱。傅里叶描述子用“取模”这一步把对齐问题直接消掉了这是它最省事的地方。所以选型结论很清楚样本量小、算力低、要求可解释、类别之间主要靠轮廓形状区分——这四个条件同时成立时傅里叶描述子加 SVM 是性价比最高的方案。反过来说如果手势类别之间靠的是纹理或者肤色差异或者需要区分细微的手指弯曲角度那这套方法就会吃力该上深度学习就上别硬撑。3. 把源码包跑起来目录约定、依赖与第一次训练3.1 环境与依赖别一上来就装全家桶这份源码的依赖面很窄核心就三个包。常见做法是开一个干净的虚拟环境别往系统 Python 里塞python -m venv venv source venv/bin/activate # Windows 下是 venv\Scripts\activate pip install numpy opencv-python scikit-learn说明一下这三个包各自的位置。opencv-python 负责读图、阈值分割、找轮廓、算凸包和凸缺陷是整个前处理的主力numpy 负责 FFT 和数组运算np.fft.fft 就是傅里叶描述子的计算入口scikit-learn 负责 SVM、标准化、网格搜索和混淆矩阵。没有 matplotlib 也能跑但如果想看混淆矩阵的可视化可以补一个。参数上唯一需要注意的是 opencv-python 和 opencv-contrib-python 不要同时装两者会互相覆盖症状是 cv2 里某些函数莫名其妙找不到。如果只是做这套流程装 opencv-python 就够了用不到 contrib 里的扩展模块。3.2 样本库的目录约定与一次完整性自检样本库的组织方式最常见也最好用的是“一个类别一个子目录”目录名就是标签samples/ ├── fist/ # 握拳 │ ├── 0001.png │ └── ... ├── palm/ # 五指张开 ├── ok/ # OK 手势 ├── thumb_up/ # 点赞 └── v_sign/ # V 字标签从子目录名读不要写死在代码里否则新增一个手势就得改三处。图片格式上源码包里的样本一般是灰度图或者二值掩码如果你的样本是彩色原图也能跑但需要在读图那一步转灰度并做前景分割这个在 4.1 节展开。动手训练之前先跑一段自检把“坏样本”挡在门外。这一步看起来多余实际上能省掉后面一大半的调试时间import os import glob import cv2 def audit_dataset(root, min_side32, min_count5): labels sorted(d for d in os.listdir(root) if os.path.isdir(os.path.join(root, d))) report {} for lab in labels: files [] for ext in (*.png, *.jpg, *.jpeg, *.bmp): files.extend(glob.glob(os.path.join(root, lab, ext))) bad [] for p in files: img cv2.imread(p, cv2.IMREAD_GRAYSCALE) if img is None: bad.append((p, unreadable)) continue # 过小的图在后继阈值分割时容易退化成一条线 if min(img.shape[:2]) min_side: bad.append((p, too_small)) report[lab] {total: len(files), bad: bad} if len(files) - len(bad) min_count: print(f[warn] {lab} 有效样本不足 {min_count} 张) return report if __name__ __main__: rep audit_dataset(samples) for lab, info in rep.items(): print(f{lab:12s} total{info[total]:4d} bad{len(info[bad])})这段脚本做三件事按子目录收集图片、逐张验证可读性和最小尺寸、统计每个类别的有效样本量。min_side32 这个阈值不是随便定的低于 32 像素的图做 OTSU 阈值分割之后很容易整张糊成一团或者只剩一条细线提取出来的轮廓没有意义。min_count5 是给后面的分层交叉验证留底——某个类别少于 5 张时5 折分层划分会有折里完全没有这个类直接抛异常。输出里如果某个类别的 bad 数量超过 10%别急着往下走先把这批图清理掉。血泪经验是坏样本不会均匀分布它们往往集中在某一次采集里最后表现为“模型对某个特定姿势特别不准”查半天查不出原因。3.3 训练评估闭环从特征缓存到混淆矩阵自检过了就把特征算出来缓存成 npz。这一步别省因为后面调 SVM 参数、改特征维度、换分类器都会反复用到同一批特征。每次改完都重新跑一遍图像处理时间全浪费在读图和找轮廓上。import numpy as np import os from feats import contour_to_feature # 4.x 节展开的实现 def build_feature_cache(root, out_path, n_points64, n_coeffs20): X, y, names, groups [], [], [], [] labels sorted(d for d in os.listdir(root) if os.path.isdir(os.path.join(root, d))) for li, lab in enumerate(labels): cls_dir os.path.join(root, lab) for fn in sorted(os.listdir(cls_dir)): feat contour_to_feature(os.path.join(cls_dir, fn), n_pointsn_points, n_coeffsn_coeffs) if feat is None: continue # 提不出轮廓的样本直接跳过不塞零向量 X.append(feat) y.append(li) names.append(f{lab}/{fn}) groups.append(lab) # 分组标签后面 GroupKFold 用得上 X np.asarray(X, dtypenp.float32) y np.asarray(y, dtypenp.int32) np.savez_compressed(out_path, XX, yy, namesnp.array(names), groupsnp.array(groups), labelsnp.array(labels)) print(fsaved {X.shape[0]} samples, dim{X.shape[1]}, classes{len(labels)}) return X, y关键点在两处。一是 feat 为 None 时直接跳过不要用零向量占位——零向量在 SVM 里会被当成一个“所有系数都是 0”的合法样本把决策边界往原点方向拽症状是某些类别召回率莫名下降。二是 groups 这个字段它为后面的分组交叉验证埋了伏笔第 5 章会讲为什么必须按采集批次分组而不是随手 random_split。缓存建好之后训练和评估就是一个很短的闭环import numpy as np from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import cross_val_predict, StratifiedKFold from sklearn.metrics import confusion_matrix, classification_report d np.load(cache/fd_feats.npz, allow_pickleTrue) X, y, labels d[X], d[y], d[labels] pipe make_pipeline( StandardScaler(), SVC(kernelrbf, C10.0, gammascale, class_weightbalanced, probabilityTrue) ) cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) y_pred cross_val_predict(pipe, X, y, cvcv, n_jobs-1) print(classification_report(y, y_pred, target_nameslabels, digits4)) print(confusion_matrix(y, y_pred))StandardScaler 放在管道里是为了让标准化参数只在训练折上估计避免测试折的信息泄漏进特征。C10 和 gammascale 是这套特征上的一个经验起点后面第 6 章会给扫描范围。class_weightbalanced 的作用是按类别频率反比加权样本库里 fist 可能有 200 张、ok 只有 40 张时不加这个参数模型会倾向于把所有模糊样本都判成 fist。confusion_matrix 打出来的矩阵一定要看不能只看 accuracy。手势识别里最常见的模式是“相邻类别互相混淆”比如 palm 和 five 分不开、v_sign 和 ok 分不开。如果混淆集中在某两个类说明这两类的轮廓描述子区分度不够该加特征见 6.1而不是调 SVM 参数。如果混淆是散开的、每个类都掉一点那才是参数没调好。4. 特征流水线逐段拆从一帧 RGB 到一条 22 维向量4.1 第一步把手从背景里抠出来源码包里的样本库如果是已经分割好的掩码图这一步可以简化成“读灰度图 OTSU”如果是普通摄像头拍的原图就必须做前景分割。两种情况的处理逻辑不一样代码里要分支不能一把梭。import cv2 import numpy as np def get_binary(img_path, roiNone): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: return None # 统一缩放到短边 256控制算力尺度不变性另有归一化兜底 h, w img.shape s 256.0 / max(h, w) if s 1.0: img cv2.resize(img, (int(w * s), int(h * s)), interpolationcv2.INTER_AREA) if roi is not None: # 已知手部区域时先裁再处理 x, y, rw, rh roi img img[y:y rh, x:x rw] blur cv2.GaussianBlur(img, (5, 5), 0) # OTSU 自动选阈值适合光照相对均匀的场景 _, bw cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 保证手势是白色前景背景占比大时反色 if bw.mean() 127: bw cv2.bitwise_not(bw) # 开运算去毛刺闭运算补小洞 k cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) bw cv2.morphologyEx(bw, cv2.MORPH_OPEN, k) bw cv2.morphologyEx(bw, cv2.MORPH_CLOSE, k) return bw这段里几个参数值得说清楚。GaussianBlur 的核用 (5,5)再大会把指缝这种细节抹平直接影响后面凸缺陷能不能数出手指再小则压不住传感器噪声轮廓上全是锯齿。OTSU 适合背景和前景灰度分布双峰的图如果背景是一面浅色墙、手也是浅色皮肤双峰不明显OTSU 会给出一个很离谱的阈值这时候要么换肤色分割YCrCb 空间里 Cr 通道在 133 到 173 之间要么老老实实加一块纯色背景板。形态学那两行是必要的。开运算先腐蚀后膨胀干掉背景上零星的噪点闭运算先膨胀后腐蚀补上手掌内部因为反光造成的空洞。如果不做闭运算找出来的轮廓会绕着手掌里那个洞跑一圈特征直接废掉。拿到二值图之后取面积最大的那个外轮廓def largest_contour(bw): # OpenCV 4.x 返回 (contours, hierarchy) # OpenCV 3.x 返回 (img, contours, hierarchy)适配写法见下 found cv2.findContours(bw, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) cnts found[-2] if len(found) 3 else found[0] if not cnts: return None cnt max(cnts, keycv2.contourArea) if cv2.contourArea(cnt) 800: # 面积太小的当噪声扔掉 return None return cntCHAIN_APPROX_NONE 会把轮廓上每一个像素都记录下来一条手部轮廓通常有 800 到 1500 个点。这里不用 CHAIN_APPROX_SIMPLE 的原因是简化会跳掉共线点让点的弧长分布不均匀而下一步的等弧长重采样是建立在“点的顺序正确”这个前提上的——虽然跳掉共线点不影响顺序但会让相邻点的间距差异变大插值误差上升。面积阈值 800 是缩放后的经验值短边 256 的情况下。设太小背景上的小噪点会被当成轮廓设太大手离镜头远的时候真轮廓被过滤掉。这个值跟缩放比例绑定改缩放比例就要同步改它。4.2 第二步等弧长重采样把 N 个点压成 64 个点前面说过点数不固定就没法比 FFT 系数。重采样的目标是把任意长度的闭合轮廓按弧长均匀地取 64 个点。用弧长而不是用角度是因为角度采样在轮廓的凹凸变化剧烈处会挤成一堆而弧长采样在整条曲线上密度一致更符合“均匀描述形状”的初衷。def resample_contour(cnt, n64): pts cnt.reshape(-1, 2).astype(np.float64) if len(pts) 8: return None # 相邻点距离注意 roll 一下把首尾也连上 nxt np.roll(pts, -1, axis0) seg np.sqrt(((nxt - pts) ** 2).sum(axis1)) cum np.concatenate([[0.0], np.cumsum(seg)]) total cum[-1] if total 1e-6: return None # 目标采样位置等间隔最后一个点不重复取起点 target np.linspace(0.0, total, n, endpointFalse) xs np.interp(target, cum, np.append(pts[:, 0], pts[0, 0])) ys np.interp(target, cum, np.append(pts[:, 1], pts[0, 1])) return np.stack([xs, ys], axis1)逻辑上有三个细节必须对齐。第一np.roll(pts, -1, axis0)把首尾接上否则最后一段从最后一个点回到起点的长度会漏掉导致总弧长偏小采样点整体往起点方向偏移。第二np.append(pts[:, 0], pts[0, 0])是同一个道理cum 的长度比 pts 多一个插值的 xp 和 fp 长度必须一致不然 numpy 直接抛形状不匹配。第三endpointFalse保证不会在起点重复采一个点——如果重复了DFT 会把那个重复点当成形状的一部分产生一个虚假的高频分量。n64 这个数字是权衡的结果。取 32 时描述能力不够指缝这种细节会被抹掉取 128 时特征维度翻倍训练变慢而且超过 64 个采样点之后高频系数的方差变得很大反而不稳定。64 在 256×256 的输入分辨率下平均每段弧长约 10 到 14 个像素正好能把手指的宽度描述清楚。4.3 第三步FFT 与归一化19 维有效特征重采样之后就是核心那一步。这段代码不长但每一行都对应 2.2 节表格里的一行不变性写错任何一处都会让某个不变性失效。def fourier_descriptor(cnt, n_points64, n_coeffs20): rs resample_contour(cnt, n_points) if rs is None: return None z rs[:, 0] 1j * rs[:, 1] # 轮廓点 → 复序列 Z np.fft.fft(z) # N 点离散傅里叶变换 mag np.abs(Z) # 取模旋转 / 起点不变 mag[0] 0.0 # 丢直流平移不变 if mag[1] 1e-9: # 退化轮廓保护防除零 return None feat mag[1:n_coeffs] / mag[1] # 除以 |Z(1)|尺度不变 return np.log1p(feat * 10.0) # 对数压缩压掉动态范围逐行说。z x 1j*y完成复平面映射np.fft.fft直接给 N 个复数系数numpy 的 FFT 没有做归一化但这不重要因为后面要除以 |Z(1)|常数因子会被约掉。mag[0] 0.0丢掉直流项这一步在数学上是“去掉平移”在代码上还有个副作用——不丢的话直流项往往是所有系数里最大的除以它之后其余系数全部变成很小的数值数值精度会掉。feat mag[1:n_coeffs] / mag[1]之后第一个元素恒等于 1所以实际有效信息只有 n_coeffs-1 维。取 n_coeffs20 得到 19 维有效特征加上后面凸缺陷的 3 维总共 22 维。最后那行np.log1p(feat * 10.0)是一个容易被省略、但收益很明显的处理。傅里叶系数的幅值随频率衰减得很快|Z(1)| 归一化之后第 2 个系数可能是 0.4第 15 个可能只有 0.003差了三个数量级。SVM 的 RBF 核用的是欧氏距离高维那几个小数值的贡献会被完全淹没等于白算。乘 10 再 log1p 之后0.4 变成 1.790.003 变成 0.035动态范围从三个数量级压到一个高频系数开始对距离有实际贡献。这个 10 是经验系数样本特征的量级变了就要重新看分布别照抄。4.4 第四步拼上凸缺陷把“有几根手指”显式告诉分类器纯傅里叶描述子能描述整体轮廓形状但对“手指张开程度”这种局部拓扑结构不敏感。补这一块最便宜的办法是凸缺陷convexity defects手掌的凸包是一条粗略的外轮廓手指之间的凹槽就是凸包和真实轮廓之间的“缺陷”缺陷的数量和深度直接对应手指的分叉情况。def convexity_features(cnt): hull cv2.convexHull(cnt, returnPointsFalse) if hull is None or len(hull) 3: return np.zeros(3, dtypenp.float32) # 要求轮廓是 CHAIN_APPROX_NONE 采的点且首尾不闭合重复 defects cv2.convexityDefects(cnt, hull) if defects is None: return np.zeros(3, dtypenp.float32) d defects[:, 0, :].astype(np.float32) depth d[:, 3] / 256.0 # OpenCV 内部把距离放大了 256 倍 valid depth[depth 10.0] # 太浅的是噪声不是指缝 if valid.size 0: return np.zeros(3, dtypenp.float32) return np.array([len(valid), float(valid.max()), float(valid.mean())], dtypenp.float32)三个返回值分别是有效缺陷的数量约等于“张开的指缝数”、最深那个缺陷的深度、平均深度。这三个数对 palm、v_sign、ok 这类手势的区分度极高而它们在纯傅里叶特征里是模糊的。两个坑写在注释里了。d[:, 3]除以 256 这件事OpenCV 文档里提过但很容易漏不除的话深度值域在几千跟傅里叶特征拼在一起会把后者完全压死。depth 10.0这个阈值除以 256 之后是 10 个像素用来过滤手掌边缘的自然起伏设太低会把轮廓毛刺当成指缝数出七八个缺陷。最后把两段特征拼起来就是完整的一条样本特征import cv2 from get_binary import get_binary, largest_contour # 4.1 节实现 def contour_to_feature(img_path, n_points64, n_coeffs20): bw get_binary(img_path) if bw is None: return None cnt largest_contour(bw) if cnt is None: return None fd fourier_descriptor(cnt, n_points, n_coeffs) if fd is None: return None cv convexity_features(cnt) return np.concatenate([fd, cv]).astype(np.float32)返回的向量长度是 (n_coeffs - 1) 3 22 维。这个维度是刻意压在这个量级的样本库只有几百张的时候特征维度越高SVM 越容易过拟合22 维配上几百个样本是个比较健康的比例。5. 避坑与排查五条翻车记录5.1 现象cv2.findContours抛ValueError: too many values to unpack原因这个函数的返回值个数随 OpenCV 大版本变过。3.x 返回三元组(image, contours, hierarchy)4.x 改成二元组(contours, hierarchy)。网上抄来的示例代码基本都是某一个版本的写法换个环境直接炸。解决用 4.1 节里那种自适应写法found cv2.findContours(...)然后cnts found[-2] if len(found) 3 else found[0]。按长度判断比按版本号判断稳因为某些发行版打包的版本号并不完全对应行为。改完之后顺手看一眼cv2.__version__记在项目的 README 里换机器时能省一次排查。5.2 现象交叉验证准确率 98%实际拿摄像头一测一半都错原因样本库里同一个手势的几百张图往往来自同一次采集、同一个背景、同一个光照条件。随机划分训练集和测试集时测试集里的图和训练集里的图高度同源模型实际上是在“记住背景”而不是“记住形状”。这种虚高在学术界有个很直白的名字叫数据泄漏。解决两条一起做。第一划分方式改成按采集批次分组用GroupKFold把groups字段用起来3.3 节建缓存时已经存了。第二留出一组“外来样本”做最终验证——换个人、换个背景、换个时间段重新拍 30 张这 30 张绝不参与任何调参只在最后测一次。我一般会把这组样本单独放一个目录命名成holdout/脚本里硬编码跳过防止自己手滑把它加进训练集。5.3 现象训练时 SVM 报Input contains NaN或者准确率突然掉到随机水平原因fourier_descriptor里mag[1]做了除数如果轮廓退化比如手几乎贴在镜头上二值图里只剩一个圆斑或者形态学处理把轮廓腐蚀成一条线|Z(1)|会接近 0除法产生 inf 或者 nan。nan 在 numpy 数组里会静默传播一路传到标准化那步才报错这时候已经看不出是哪张图出的问题。解决两道防线。第一道在fourier_descriptor里if mag[1] 1e-9: return None把退化样本挡在特征提取阶段。第二道在特征缓存脚本里np.savez之前加一行assert np.isfinite(X).all()一旦有 nan 立刻炸掉并打印出问题样本的文件名。后悔药的作用就在于让错误尽早暴露别等到训练完才发现。5.4 现象右手比 V 能识别左手比 V 被判成 ok原因这不是代码写错了是 2.2 节提到的那个方法边界——旋转不变性靠取幅值实现而镜像左右手互换、手心朝内朝外在幅值谱上和原手势几乎一致。数学上镜像对应conj(Z(-k))而幅值谱关于 k 是对称的取模之后两者无法区分。解决补一个“手性”特征最便宜的是最小外接矩形的长宽比加上凸缺陷最深点的相对位置。更直接的做法是在特征里塞进一维Z(1)的相位虽然它对手腕旋转敏感但在摄像头位置固定的场景下这个敏感性反而变成了有用的信号。如果不愿意动特征那就从数据层面解决——样本库里两类镜像手势都必须采集让 SVM 自己靠别的维度的细微差异去分但效果不如加特征稳。5.5 现象实时运行时手势一靠近镜头就识别错退远了又恢复正常原因手离镜头太近时轮廓超出画面边界findContours拿到的是一个被图像边缘“切掉”的形状不是完整的手。傅里叶描述子描述的是这个残缺形状自然对不上任何一类。解决在取轮廓之前先判断轮廓是否贴边。做法是检查轮廓点的坐标是否有落在图像边界 2 像素以内的如果有直接判定这一帧无效并跳过不要送去分类。更主动的做法是在画面里画一个 ROI 框提示用户把手放在框内同时get_binary里传入roi参数只处理框内区域——这样能同时解决贴边问题和算力问题。这个方案在真实交互场景里几乎是必须的因为没人能保证手一直待在画面中央。6. 把准确率再往上推一点参数扫描、增广边界与一段自检脚本6.1 SVM 的两个参数扫描范围和判断标准这套特征上真正影响结果的只有 C 和 gamma 两个。C 控制对误分类的惩罚gamma 控制 RBF 核的影响半径。经验范围是 C 取 0.1 到 100 按十倍递增gamma 取 scale、0.01、0.03、0.1 这几档。别用太细的网格22 维特征、几百个样本的规模细网格扫出来的最优参数多半是过拟合到交叉验证折上的噪声。from sklearn.model_selection import GridSearchCV, GroupKFold from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC pipe make_pipeline(StandardScaler(), SVC(kernelrbf, class_weightbalanced)) grid {svc__C: [0.1, 1, 10, 100], svc__gamma: [scale, 0.01, 0.03, 0.1]} gs GridSearchCV(pipe, grid, cvGroupKFold(n_splits5), scoringf1_macro, n_jobs-1, verbose1) # gs.fit(X, y, groupsd[groups])评分函数选f1_macro而不是默认的 accuracy是因为宏平均对每个类别一视同仁样本少的类别不会被大类别淹没。GroupKFold传 groups 那一步别漏漏了就等于退回随机划分5.2 节的坑原样复现。扫完之后别只看best_params_。把cv_results_里所有组合的 mean_test_score 打出来看分布形状。如果 C0.1 和 C100 的分数只差 0.5 个百分点说明模型对这个参数不敏感选小的那个泛化更稳如果分数在某个点之后断崖下跌说明已经进入过拟合区取断崖前的那一档。6.2 样本增广的边界能做什么绝对不能做什么这套流程里增广的性价比很高但有一条红线必须清楚——傅里叶描述子已经对平移、缩放、旋转不变了所以平移、缩放、旋转这三种增广在特征层面是无效的做了等于白做只是把同一张图的特征重复算了一遍。这一点跟 CNN 的增广逻辑完全不同照搬图像分类那套会浪费时间。真正有效的增广是那些会改变特征值的操作增广方式参数建议是否改变特征说明随机透视变换幅度 3%–5%是模拟手腕角度变化改变轮廓的局部比例弹性形变alpha 30–50是模拟手指弯曲的个体差异效果最明显高斯噪声sigma 3–8是模拟传感器噪声主要影响高频系数平移 / 缩放—否已被不变性吃掉不要浪费算力纯旋转—否同上弹性形变是这里面收益最大的一项因为它正好作用在“手指弯曲程度”这个傅里叶描述子描述不好的维度上。实现上不需要上 scipy 的整套 elastic transform简单的做法是对每 32×32 的块做一个随机偏移再做双三次插值效果已经够用。反过来有一条绝对不能碰不要对二值掩码做旋转增广之后再提取特征。旋转后的掩码边缘会出现锯齿重采样时插值误差变大等于人为给特征加了噪声而旋转本身又是不变的纯亏。6.3 上线前的一段自检脚本模型训练完把joblib.dump存下来之前我会强制跑一遍下面这个脚本。它做三件事验证模型对每个类别的预测一致性、检查特征分布有没有异常、测一遍端到端的单帧耗时。import time import numpy as np import joblib def preflight(clf_path, cache_path, n_rounds50): clf joblib.load(clf_path) d np.load(cache_path, allow_pickleTrue) X, y, labels d[X], d[y], d[labels] # 1) 每个类别的一致率同类样本预测应高度集中在同一标签 pred clf.predict(X) for i, lab in enumerate(labels): m (y i) if m.sum() 0: continue acc (pred[m] i).mean() print(f{lab:12s} n{m.sum():4d} self_acc{acc:.3f}) # 2) 特征分布体检均值/方差/极值判断是否有离群维度 mu, sd X.mean(axis0), X.std(axis0) dead np.where(sd 1e-6)[0] if dead.size: print(f[warn] 维度 {dead.tolist()} 方差为 0考虑删掉) # 3) 端到端延迟只测 predict不含图像处理 t0 time.perf_counter() for k in range(n_rounds): clf.predict(X[k % len(X)][None, :]) dt (time.perf_counter() - t0) / n_rounds * 1000 print(fpredict 平均耗时 {dt:.3f} ms/帧) return dt if __name__ __main__: preflight(model/svm_fd.joblib, cache/fd_feats.npz)第一项的自检率不是准确率而是“模型对自己训练过的样本有多自信”它的用途是发现类别坍缩——如果某个类的 self_acc 只有 0.3说明这一类在特征空间里跟别的类糊成一团加多少个样本都救不回来得回头改特征。第二项抓的是死维度22 维里如果某一维方差接近 0那它在 SVM 里就是个常数项白占位置还稀释距离删掉更干净。第三项给的是纯推理延迟加上图像处理那部分找轮廓、重采样、FFT才是完整的单帧开销我在 256×256 分辨率上量到的总耗时通常在 6 到 12 ms 之间具体取决于背景复杂度。有个习惯是从那以后一直保持的任何一次“感觉准确率上来了”的改动都必须跑一遍这段自检把三个数字跟上一版对比。因为有太多次交叉验证分数涨了两个点结果 self_acc 分布变得很歪端到端延迟翻倍实际上是把模型调成了过拟合某个类别。这三个数字摆在一起看比只看一个 accuracy 靠谱得多。源码包里的特征提取和训练部分按第 3 章的目录摆好就能直接跑样本库不用重新采先把基线跑出来再按第 6 章的增广和参数扫描往上推。别一上来就改模型八成的问题都出在轮廓提取和重采样那两步把这两处的中间结果保存成图看一眼比调一天参数有用。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/29 2:47:48 · 阅读 1.2k 傅里叶描述子与凸缺陷的手势识别：SVM低算力实践
简介这份资源面向想入门手势识别与形状分析的开发者及课程设计学生提供一套从图像采集到分类识别的完整Python实现重点演示傅里叶描述子与椭圆傅里叶描述子的提取、归一化流程并配合KNN与SVM完成模型训练和对比。包内标注文件总数约2000类型以大量txt数据与标签、png手势样本为主另含m脚本、py程序、PyQt5界面资源及说明文档压缩包约142.52MB样本库与代码集中存放便于直接复现实验。该资源已有13878人学习下载适合作为机器学习与计算机视觉综合实践的参考。读者可据此梳理图像平滑、OTSU肤色分割、八邻域轮廓搜索到轮廓曲线提取的完整链路对照训练脚本理解特征工程与分类器调参思路也可在简易界面上完成手势图片的交互测试快速搭建自己的识别原型。1. 摄像头对着手比个 OK 结果跳出 fist——问题多半不在模型这种翻车在手势识别里太常见分类器本身没毛病出问题的是特征没能把“形状”这件事描述清楚。这份基于傅里叶算子Fourier Descriptor的手势识别 Python 源码走的是一条看起来保守、实际上很稳的路线手部轮廓 → 等弧长重采样 → 离散傅里叶变换 → 取低频幅值做归一化 → 拼上凸缺陷特征 → 送进 SVM 分类。整套流程不依赖 GPU也不依赖深度相机普通 RGB 摄像头配一份自带的手势样本库就能跑起来。它适合两类人一类是做课程设计或毕设需要一套原理讲得清、代码量可控的手势识别系统另一类是手上有低算力板子需要一个特征维度在几十维量级、推理开销可预测的分类器。下面把这条流水线拆开从数学到代码到踩坑一节一节走完。2. 傅里叶描述子为什么能扛轮廓任务三个不变性与一次选型2.1 把轮廓点摊到复平面上一条闭合轮廓本质上是一串有序的点 (x₀,y₀), (x₁,y₁), …, (x_{N-1},y_{N-1})。傅里叶描述子的第一步是把这对实数坐标压成一个复数序列z(n) x(n) j·y(n)n 0, 1, …, N-1这一步看着像数学游戏实际意义很直接二维平面上的点被映射成复平面上的一个点于是“沿轮廓走一圈”就变成“在复平面上画一条闭合曲线”而闭合曲线天然适合用周期序列的工具处理。对 z(n) 做 N 点 DFTZ(k) Σ_{n0}^{N-1} z(n)·exp(-j2πkn/N)k 0, 1, …, N-1得到的 Z(k) 就是傅里叶描述子。低频分量描述轮廓的整体形状大致是个圆的、细长的、还是带分叉的高频分量描述指尖、指缝这类局部细节。工程上几乎不会用全部 N 个系数因为高频部分对噪声极其敏感轮廓上抖动一两个像素第 40 个系数就能翻倍。常见做法是只保留前 15 到 25 个低频系数把后面的直接扔掉。这里必须点明一个常被忽略的前提做 DFT 之前轮廓必须重采样成固定点数。因为不同手势、不同距离下cv2.findContours 返回的点数完全不一样可能是 300 个也可能是 1200 个。点数不同DFT 的频率分辨率就不同第 k 个系数对应的物理含义也跟着变了特征向量之间根本没法比较。这个环节在后面 4.2 节会展开。2.2 三个不变性以及它们在线性代数上是怎么实现的手势识别最怕的是“同一个人比同一个手势位置偏一点、手伸远一点、手腕转一点特征就全变了”。傅里叶描述子之所以在轮廓任务上长期占一席之地就是因为它对这三件事有天生的免疫力而且实现成本极低。变化对 z(n) 的影响对 Z(k) 的影响工程处理平移z(n) cc 为复常数只有 Z(0) 变成 Z(0) N·c丢弃 Z(0)缩放α·z(n)所有 Z(k) 同乘 α全部除以 |Z(1)|旋转e^{jθ}·z(n)所有 Z(k) 同乘 e^{jθ}取幅值 |Z(k)|起点偏移z(n-n₀)Z(k)·e^{-j2πkn₀/N}取幅值后自动消失这张表是整个方法的核心值得逐行对照代码看一遍。平移只污染直流项所以第一件事是把 Z(0) 扔掉缩放是对所有系数做同一个乘法所以随便挑一个非零系数通常取 |Z(1)|它是能量最大的低频项做除数就能把尺度因子约掉旋转是乘一个单位复数取模就没了起点偏移是乘一个相位因子取模同样没了。合起来就是那句常被引用的话|Z(k)| / |Z(1)|k 1, 2, …, M是一组对平移、缩放、旋转、起点都不变的形状描述子。注意这里有一个容易被略过的副作用既然旋转不变性靠“取模”实现那么所有关于相位的方向信息就都丢了。这意味着左右镜像的两个手势比如手心朝内和手心朝外比同一个 V在幅值谱上几乎完全一致。这不是实现 bug是方法本身的边界。后面 5.4 节会给出补丁方案。2.3 为什么这里不直接上 CNN也不只用 Hu 矩先说 CNN。一个五分类的手势识别用迁移学习微调一个小 backbone准确率确实能压过傅里叶描述子。但代价是需要几千张带标注的图、需要 GPU 训练、模型体积几十 MB、推理延迟不可控。在“样本库只有几百张、目标平台是树莓派或者一块没有 NPU 的开发板”这个具体场景下这套代价是付不起的。傅里叶描述子加 SVM 的组合训练在笔记本上几秒钟跑完模型序列化之后几十 KB单帧特征提取在 CPU 上是毫秒级——这是量级上的差别。再说 Hu 矩。Hu 的七个不变矩同样具备平移、缩放、旋转不变性实现比傅里叶描述子还简单为什么这里没选它关键区别在信息密度。七个矩是七个标量描述能力天花板很低遇到“手指张开程度不同但整体轮廓相近”的类别比如 palm 和 five就容易糊在一起。傅里叶描述子可以做 20 维、40 维而且维度和频率是有物理对应的前几个系数管整体形状中间几个管分叉结构调参时有抓手。Hu 矩的七个数字之间没有这种可解释的层次。第三种常见选择是直接拿轮廓点做特征比如极坐标下每 5 度采一个半径得到 72 维。这个方案的问题是对起点敏感必须额外做对齐而且对手腕角度变化很脆弱。傅里叶描述子用“取模”这一步把对齐问题直接消掉了这是它最省事的地方。所以选型结论很清楚样本量小、算力低、要求可解释、类别之间主要靠轮廓形状区分——这四个条件同时成立时傅里叶描述子加 SVM 是性价比最高的方案。反过来说如果手势类别之间靠的是纹理或者肤色差异或者需要区分细微的手指弯曲角度那这套方法就会吃力该上深度学习就上别硬撑。3. 把源码包跑起来目录约定、依赖与第一次训练3.1 环境与依赖别一上来就装全家桶这份源码的依赖面很窄核心就三个包。常见做法是开一个干净的虚拟环境别往系统 Python 里塞python -m venv venv source venv/bin/activate # Windows 下是 venv\Scripts\activate pip install numpy opencv-python scikit-learn说明一下这三个包各自的位置。opencv-python 负责读图、阈值分割、找轮廓、算凸包和凸缺陷是整个前处理的主力numpy 负责 FFT 和数组运算np.fft.fft 就是傅里叶描述子的计算入口scikit-learn 负责 SVM、标准化、网格搜索和混淆矩阵。没有 matplotlib 也能跑但如果想看混淆矩阵的可视化可以补一个。参数上唯一需要注意的是 opencv-python 和 opencv-contrib-python 不要同时装两者会互相覆盖症状是 cv2 里某些函数莫名其妙找不到。如果只是做这套流程装 opencv-python 就够了用不到 contrib 里的扩展模块。3.2 样本库的目录约定与一次完整性自检样本库的组织方式最常见也最好用的是“一个类别一个子目录”目录名就是标签samples/ ├── fist/ # 握拳 │ ├── 0001.png │ └── ... ├── palm/ # 五指张开 ├── ok/ # OK 手势 ├── thumb_up/ # 点赞 └── v_sign/ # V 字标签从子目录名读不要写死在代码里否则新增一个手势就得改三处。图片格式上源码包里的样本一般是灰度图或者二值掩码如果你的样本是彩色原图也能跑但需要在读图那一步转灰度并做前景分割这个在 4.1 节展开。动手训练之前先跑一段自检把“坏样本”挡在门外。这一步看起来多余实际上能省掉后面一大半的调试时间import os import glob import cv2 def audit_dataset(root, min_side32, min_count5): labels sorted(d for d in os.listdir(root) if os.path.isdir(os.path.join(root, d))) report {} for lab in labels: files [] for ext in (*.png, *.jpg, *.jpeg, *.bmp): files.extend(glob.glob(os.path.join(root, lab, ext))) bad [] for p in files: img cv2.imread(p, cv2.IMREAD_GRAYSCALE) if img is None: bad.append((p, unreadable)) continue # 过小的图在后继阈值分割时容易退化成一条线 if min(img.shape[:2]) min_side: bad.append((p, too_small)) report[lab] {total: len(files), bad: bad} if len(files) - len(bad) min_count: print(f[warn] {lab} 有效样本不足 {min_count} 张) return report if __name__ __main__: rep audit_dataset(samples) for lab, info in rep.items(): print(f{lab:12s} total{info[total]:4d} bad{len(info[bad])})这段脚本做三件事按子目录收集图片、逐张验证可读性和最小尺寸、统计每个类别的有效样本量。min_side32 这个阈值不是随便定的低于 32 像素的图做 OTSU 阈值分割之后很容易整张糊成一团或者只剩一条细线提取出来的轮廓没有意义。min_count5 是给后面的分层交叉验证留底——某个类别少于 5 张时5 折分层划分会有折里完全没有这个类直接抛异常。输出里如果某个类别的 bad 数量超过 10%别急着往下走先把这批图清理掉。血泪经验是坏样本不会均匀分布它们往往集中在某一次采集里最后表现为“模型对某个特定姿势特别不准”查半天查不出原因。3.3 训练评估闭环从特征缓存到混淆矩阵自检过了就把特征算出来缓存成 npz。这一步别省因为后面调 SVM 参数、改特征维度、换分类器都会反复用到同一批特征。每次改完都重新跑一遍图像处理时间全浪费在读图和找轮廓上。import numpy as np import os from feats import contour_to_feature # 4.x 节展开的实现 def build_feature_cache(root, out_path, n_points64, n_coeffs20): X, y, names, groups [], [], [], [] labels sorted(d for d in os.listdir(root) if os.path.isdir(os.path.join(root, d))) for li, lab in enumerate(labels): cls_dir os.path.join(root, lab) for fn in sorted(os.listdir(cls_dir)): feat contour_to_feature(os.path.join(cls_dir, fn), n_pointsn_points, n_coeffsn_coeffs) if feat is None: continue # 提不出轮廓的样本直接跳过不塞零向量 X.append(feat) y.append(li) names.append(f{lab}/{fn}) groups.append(lab) # 分组标签后面 GroupKFold 用得上 X np.asarray(X, dtypenp.float32) y np.asarray(y, dtypenp.int32) np.savez_compressed(out_path, XX, yy, namesnp.array(names), groupsnp.array(groups), labelsnp.array(labels)) print(fsaved {X.shape[0]} samples, dim{X.shape[1]}, classes{len(labels)}) return X, y关键点在两处。一是 feat 为 None 时直接跳过不要用零向量占位——零向量在 SVM 里会被当成一个“所有系数都是 0”的合法样本把决策边界往原点方向拽症状是某些类别召回率莫名下降。二是 groups 这个字段它为后面的分组交叉验证埋了伏笔第 5 章会讲为什么必须按采集批次分组而不是随手 random_split。缓存建好之后训练和评估就是一个很短的闭环import numpy as np from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import cross_val_predict, StratifiedKFold from sklearn.metrics import confusion_matrix, classification_report d np.load(cache/fd_feats.npz, allow_pickleTrue) X, y, labels d[X], d[y], d[labels] pipe make_pipeline( StandardScaler(), SVC(kernelrbf, C10.0, gammascale, class_weightbalanced, probabilityTrue) ) cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) y_pred cross_val_predict(pipe, X, y, cvcv, n_jobs-1) print(classification_report(y, y_pred, target_nameslabels, digits4)) print(confusion_matrix(y, y_pred))StandardScaler 放在管道里是为了让标准化参数只在训练折上估计避免测试折的信息泄漏进特征。C10 和 gammascale 是这套特征上的一个经验起点后面第 6 章会给扫描范围。class_weightbalanced 的作用是按类别频率反比加权样本库里 fist 可能有 200 张、ok 只有 40 张时不加这个参数模型会倾向于把所有模糊样本都判成 fist。confusion_matrix 打出来的矩阵一定要看不能只看 accuracy。手势识别里最常见的模式是“相邻类别互相混淆”比如 palm 和 five 分不开、v_sign 和 ok 分不开。如果混淆集中在某两个类说明这两类的轮廓描述子区分度不够该加特征见 6.1而不是调 SVM 参数。如果混淆是散开的、每个类都掉一点那才是参数没调好。4. 特征流水线逐段拆从一帧 RGB 到一条 22 维向量4.1 第一步把手从背景里抠出来源码包里的样本库如果是已经分割好的掩码图这一步可以简化成“读灰度图 OTSU”如果是普通摄像头拍的原图就必须做前景分割。两种情况的处理逻辑不一样代码里要分支不能一把梭。import cv2 import numpy as np def get_binary(img_path, roiNone): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: return None # 统一缩放到短边 256控制算力尺度不变性另有归一化兜底 h, w img.shape s 256.0 / max(h, w) if s 1.0: img cv2.resize(img, (int(w * s), int(h * s)), interpolationcv2.INTER_AREA) if roi is not None: # 已知手部区域时先裁再处理 x, y, rw, rh roi img img[y:y rh, x:x rw] blur cv2.GaussianBlur(img, (5, 5), 0) # OTSU 自动选阈值适合光照相对均匀的场景 _, bw cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 保证手势是白色前景背景占比大时反色 if bw.mean() 127: bw cv2.bitwise_not(bw) # 开运算去毛刺闭运算补小洞 k cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) bw cv2.morphologyEx(bw, cv2.MORPH_OPEN, k) bw cv2.morphologyEx(bw, cv2.MORPH_CLOSE, k) return bw这段里几个参数值得说清楚。GaussianBlur 的核用 (5,5)再大会把指缝这种细节抹平直接影响后面凸缺陷能不能数出手指再小则压不住传感器噪声轮廓上全是锯齿。OTSU 适合背景和前景灰度分布双峰的图如果背景是一面浅色墙、手也是浅色皮肤双峰不明显OTSU 会给出一个很离谱的阈值这时候要么换肤色分割YCrCb 空间里 Cr 通道在 133 到 173 之间要么老老实实加一块纯色背景板。形态学那两行是必要的。开运算先腐蚀后膨胀干掉背景上零星的噪点闭运算先膨胀后腐蚀补上手掌内部因为反光造成的空洞。如果不做闭运算找出来的轮廓会绕着手掌里那个洞跑一圈特征直接废掉。拿到二值图之后取面积最大的那个外轮廓def largest_contour(bw): # OpenCV 4.x 返回 (contours, hierarchy) # OpenCV 3.x 返回 (img, contours, hierarchy)适配写法见下 found cv2.findContours(bw, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) cnts found[-2] if len(found) 3 else found[0] if not cnts: return None cnt max(cnts, keycv2.contourArea) if cv2.contourArea(cnt) 800: # 面积太小的当噪声扔掉 return None return cntCHAIN_APPROX_NONE 会把轮廓上每一个像素都记录下来一条手部轮廓通常有 800 到 1500 个点。这里不用 CHAIN_APPROX_SIMPLE 的原因是简化会跳掉共线点让点的弧长分布不均匀而下一步的等弧长重采样是建立在“点的顺序正确”这个前提上的——虽然跳掉共线点不影响顺序但会让相邻点的间距差异变大插值误差上升。面积阈值 800 是缩放后的经验值短边 256 的情况下。设太小背景上的小噪点会被当成轮廓设太大手离镜头远的时候真轮廓被过滤掉。这个值跟缩放比例绑定改缩放比例就要同步改它。4.2 第二步等弧长重采样把 N 个点压成 64 个点前面说过点数不固定就没法比 FFT 系数。重采样的目标是把任意长度的闭合轮廓按弧长均匀地取 64 个点。用弧长而不是用角度是因为角度采样在轮廓的凹凸变化剧烈处会挤成一堆而弧长采样在整条曲线上密度一致更符合“均匀描述形状”的初衷。def resample_contour(cnt, n64): pts cnt.reshape(-1, 2).astype(np.float64) if len(pts) 8: return None # 相邻点距离注意 roll 一下把首尾也连上 nxt np.roll(pts, -1, axis0) seg np.sqrt(((nxt - pts) ** 2).sum(axis1)) cum np.concatenate([[0.0], np.cumsum(seg)]) total cum[-1] if total 1e-6: return None # 目标采样位置等间隔最后一个点不重复取起点 target np.linspace(0.0, total, n, endpointFalse) xs np.interp(target, cum, np.append(pts[:, 0], pts[0, 0])) ys np.interp(target, cum, np.append(pts[:, 1], pts[0, 1])) return np.stack([xs, ys], axis1)逻辑上有三个细节必须对齐。第一np.roll(pts, -1, axis0)把首尾接上否则最后一段从最后一个点回到起点的长度会漏掉导致总弧长偏小采样点整体往起点方向偏移。第二np.append(pts[:, 0], pts[0, 0])是同一个道理cum 的长度比 pts 多一个插值的 xp 和 fp 长度必须一致不然 numpy 直接抛形状不匹配。第三endpointFalse保证不会在起点重复采一个点——如果重复了DFT 会把那个重复点当成形状的一部分产生一个虚假的高频分量。n64 这个数字是权衡的结果。取 32 时描述能力不够指缝这种细节会被抹掉取 128 时特征维度翻倍训练变慢而且超过 64 个采样点之后高频系数的方差变得很大反而不稳定。64 在 256×256 的输入分辨率下平均每段弧长约 10 到 14 个像素正好能把手指的宽度描述清楚。4.3 第三步FFT 与归一化19 维有效特征重采样之后就是核心那一步。这段代码不长但每一行都对应 2.2 节表格里的一行不变性写错任何一处都会让某个不变性失效。def fourier_descriptor(cnt, n_points64, n_coeffs20): rs resample_contour(cnt, n_points) if rs is None: return None z rs[:, 0] 1j * rs[:, 1] # 轮廓点 → 复序列 Z np.fft.fft(z) # N 点离散傅里叶变换 mag np.abs(Z) # 取模旋转 / 起点不变 mag[0] 0.0 # 丢直流平移不变 if mag[1] 1e-9: # 退化轮廓保护防除零 return None feat mag[1:n_coeffs] / mag[1] # 除以 |Z(1)|尺度不变 return np.log1p(feat * 10.0) # 对数压缩压掉动态范围逐行说。z x 1j*y完成复平面映射np.fft.fft直接给 N 个复数系数numpy 的 FFT 没有做归一化但这不重要因为后面要除以 |Z(1)|常数因子会被约掉。mag[0] 0.0丢掉直流项这一步在数学上是“去掉平移”在代码上还有个副作用——不丢的话直流项往往是所有系数里最大的除以它之后其余系数全部变成很小的数值数值精度会掉。feat mag[1:n_coeffs] / mag[1]之后第一个元素恒等于 1所以实际有效信息只有 n_coeffs-1 维。取 n_coeffs20 得到 19 维有效特征加上后面凸缺陷的 3 维总共 22 维。最后那行np.log1p(feat * 10.0)是一个容易被省略、但收益很明显的处理。傅里叶系数的幅值随频率衰减得很快|Z(1)| 归一化之后第 2 个系数可能是 0.4第 15 个可能只有 0.003差了三个数量级。SVM 的 RBF 核用的是欧氏距离高维那几个小数值的贡献会被完全淹没等于白算。乘 10 再 log1p 之后0.4 变成 1.790.003 变成 0.035动态范围从三个数量级压到一个高频系数开始对距离有实际贡献。这个 10 是经验系数样本特征的量级变了就要重新看分布别照抄。4.4 第四步拼上凸缺陷把“有几根手指”显式告诉分类器纯傅里叶描述子能描述整体轮廓形状但对“手指张开程度”这种局部拓扑结构不敏感。补这一块最便宜的办法是凸缺陷convexity defects手掌的凸包是一条粗略的外轮廓手指之间的凹槽就是凸包和真实轮廓之间的“缺陷”缺陷的数量和深度直接对应手指的分叉情况。def convexity_features(cnt): hull cv2.convexHull(cnt, returnPointsFalse) if hull is None or len(hull) 3: return np.zeros(3, dtypenp.float32) # 要求轮廓是 CHAIN_APPROX_NONE 采的点且首尾不闭合重复 defects cv2.convexityDefects(cnt, hull) if defects is None: return np.zeros(3, dtypenp.float32) d defects[:, 0, :].astype(np.float32) depth d[:, 3] / 256.0 # OpenCV 内部把距离放大了 256 倍 valid depth[depth 10.0] # 太浅的是噪声不是指缝 if valid.size 0: return np.zeros(3, dtypenp.float32) return np.array([len(valid), float(valid.max()), float(valid.mean())], dtypenp.float32)三个返回值分别是有效缺陷的数量约等于“张开的指缝数”、最深那个缺陷的深度、平均深度。这三个数对 palm、v_sign、ok 这类手势的区分度极高而它们在纯傅里叶特征里是模糊的。两个坑写在注释里了。d[:, 3]除以 256 这件事OpenCV 文档里提过但很容易漏不除的话深度值域在几千跟傅里叶特征拼在一起会把后者完全压死。depth 10.0这个阈值除以 256 之后是 10 个像素用来过滤手掌边缘的自然起伏设太低会把轮廓毛刺当成指缝数出七八个缺陷。最后把两段特征拼起来就是完整的一条样本特征import cv2 from get_binary import get_binary, largest_contour # 4.1 节实现 def contour_to_feature(img_path, n_points64, n_coeffs20): bw get_binary(img_path) if bw is None: return None cnt largest_contour(bw) if cnt is None: return None fd fourier_descriptor(cnt, n_points, n_coeffs) if fd is None: return None cv convexity_features(cnt) return np.concatenate([fd, cv]).astype(np.float32)返回的向量长度是 (n_coeffs - 1) 3 22 维。这个维度是刻意压在这个量级的样本库只有几百张的时候特征维度越高SVM 越容易过拟合22 维配上几百个样本是个比较健康的比例。5. 避坑与排查五条翻车记录5.1 现象cv2.findContours抛ValueError: too many values to unpack原因这个函数的返回值个数随 OpenCV 大版本变过。3.x 返回三元组(image, contours, hierarchy)4.x 改成二元组(contours, hierarchy)。网上抄来的示例代码基本都是某一个版本的写法换个环境直接炸。解决用 4.1 节里那种自适应写法found cv2.findContours(...)然后cnts found[-2] if len(found) 3 else found[0]。按长度判断比按版本号判断稳因为某些发行版打包的版本号并不完全对应行为。改完之后顺手看一眼cv2.__version__记在项目的 README 里换机器时能省一次排查。5.2 现象交叉验证准确率 98%实际拿摄像头一测一半都错原因样本库里同一个手势的几百张图往往来自同一次采集、同一个背景、同一个光照条件。随机划分训练集和测试集时测试集里的图和训练集里的图高度同源模型实际上是在“记住背景”而不是“记住形状”。这种虚高在学术界有个很直白的名字叫数据泄漏。解决两条一起做。第一划分方式改成按采集批次分组用GroupKFold把groups字段用起来3.3 节建缓存时已经存了。第二留出一组“外来样本”做最终验证——换个人、换个背景、换个时间段重新拍 30 张这 30 张绝不参与任何调参只在最后测一次。我一般会把这组样本单独放一个目录命名成holdout/脚本里硬编码跳过防止自己手滑把它加进训练集。5.3 现象训练时 SVM 报Input contains NaN或者准确率突然掉到随机水平原因fourier_descriptor里mag[1]做了除数如果轮廓退化比如手几乎贴在镜头上二值图里只剩一个圆斑或者形态学处理把轮廓腐蚀成一条线|Z(1)|会接近 0除法产生 inf 或者 nan。nan 在 numpy 数组里会静默传播一路传到标准化那步才报错这时候已经看不出是哪张图出的问题。解决两道防线。第一道在fourier_descriptor里if mag[1] 1e-9: return None把退化样本挡在特征提取阶段。第二道在特征缓存脚本里np.savez之前加一行assert np.isfinite(X).all()一旦有 nan 立刻炸掉并打印出问题样本的文件名。后悔药的作用就在于让错误尽早暴露别等到训练完才发现。5.4 现象右手比 V 能识别左手比 V 被判成 ok原因这不是代码写错了是 2.2 节提到的那个方法边界——旋转不变性靠取幅值实现而镜像左右手互换、手心朝内朝外在幅值谱上和原手势几乎一致。数学上镜像对应conj(Z(-k))而幅值谱关于 k 是对称的取模之后两者无法区分。解决补一个“手性”特征最便宜的是最小外接矩形的长宽比加上凸缺陷最深点的相对位置。更直接的做法是在特征里塞进一维Z(1)的相位虽然它对手腕旋转敏感但在摄像头位置固定的场景下这个敏感性反而变成了有用的信号。如果不愿意动特征那就从数据层面解决——样本库里两类镜像手势都必须采集让 SVM 自己靠别的维度的细微差异去分但效果不如加特征稳。5.5 现象实时运行时手势一靠近镜头就识别错退远了又恢复正常原因手离镜头太近时轮廓超出画面边界findContours拿到的是一个被图像边缘“切掉”的形状不是完整的手。傅里叶描述子描述的是这个残缺形状自然对不上任何一类。解决在取轮廓之前先判断轮廓是否贴边。做法是检查轮廓点的坐标是否有落在图像边界 2 像素以内的如果有直接判定这一帧无效并跳过不要送去分类。更主动的做法是在画面里画一个 ROI 框提示用户把手放在框内同时get_binary里传入roi参数只处理框内区域——这样能同时解决贴边问题和算力问题。这个方案在真实交互场景里几乎是必须的因为没人能保证手一直待在画面中央。6. 把准确率再往上推一点参数扫描、增广边界与一段自检脚本6.1 SVM 的两个参数扫描范围和判断标准这套特征上真正影响结果的只有 C 和 gamma 两个。C 控制对误分类的惩罚gamma 控制 RBF 核的影响半径。经验范围是 C 取 0.1 到 100 按十倍递增gamma 取 scale、0.01、0.03、0.1 这几档。别用太细的网格22 维特征、几百个样本的规模细网格扫出来的最优参数多半是过拟合到交叉验证折上的噪声。from sklearn.model_selection import GridSearchCV, GroupKFold from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC pipe make_pipeline(StandardScaler(), SVC(kernelrbf, class_weightbalanced)) grid {svc__C: [0.1, 1, 10, 100], svc__gamma: [scale, 0.01, 0.03, 0.1]} gs GridSearchCV(pipe, grid, cvGroupKFold(n_splits5), scoringf1_macro, n_jobs-1, verbose1) # gs.fit(X, y, groupsd[groups])评分函数选f1_macro而不是默认的 accuracy是因为宏平均对每个类别一视同仁样本少的类别不会被大类别淹没。GroupKFold传 groups 那一步别漏漏了就等于退回随机划分5.2 节的坑原样复现。扫完之后别只看best_params_。把cv_results_里所有组合的 mean_test_score 打出来看分布形状。如果 C0.1 和 C100 的分数只差 0.5 个百分点说明模型对这个参数不敏感选小的那个泛化更稳如果分数在某个点之后断崖下跌说明已经进入过拟合区取断崖前的那一档。6.2 样本增广的边界能做什么绝对不能做什么这套流程里增广的性价比很高但有一条红线必须清楚——傅里叶描述子已经对平移、缩放、旋转不变了所以平移、缩放、旋转这三种增广在特征层面是无效的做了等于白做只是把同一张图的特征重复算了一遍。这一点跟 CNN 的增广逻辑完全不同照搬图像分类那套会浪费时间。真正有效的增广是那些会改变特征值的操作增广方式参数建议是否改变特征说明随机透视变换幅度 3%–5%是模拟手腕角度变化改变轮廓的局部比例弹性形变alpha 30–50是模拟手指弯曲的个体差异效果最明显高斯噪声sigma 3–8是模拟传感器噪声主要影响高频系数平移 / 缩放—否已被不变性吃掉不要浪费算力纯旋转—否同上弹性形变是这里面收益最大的一项因为它正好作用在“手指弯曲程度”这个傅里叶描述子描述不好的维度上。实现上不需要上 scipy 的整套 elastic transform简单的做法是对每 32×32 的块做一个随机偏移再做双三次插值效果已经够用。反过来有一条绝对不能碰不要对二值掩码做旋转增广之后再提取特征。旋转后的掩码边缘会出现锯齿重采样时插值误差变大等于人为给特征加了噪声而旋转本身又是不变的纯亏。6.3 上线前的一段自检脚本模型训练完把joblib.dump存下来之前我会强制跑一遍下面这个脚本。它做三件事验证模型对每个类别的预测一致性、检查特征分布有没有异常、测一遍端到端的单帧耗时。import time import numpy as np import joblib def preflight(clf_path, cache_path, n_rounds50): clf joblib.load(clf_path) d np.load(cache_path, allow_pickleTrue) X, y, labels d[X], d[y], d[labels] # 1) 每个类别的一致率同类样本预测应高度集中在同一标签 pred clf.predict(X) for i, lab in enumerate(labels): m (y i) if m.sum() 0: continue acc (pred[m] i).mean() print(f{lab:12s} n{m.sum():4d} self_acc{acc:.3f}) # 2) 特征分布体检均值/方差/极值判断是否有离群维度 mu, sd X.mean(axis0), X.std(axis0) dead np.where(sd 1e-6)[0] if dead.size: print(f[warn] 维度 {dead.tolist()} 方差为 0考虑删掉) # 3) 端到端延迟只测 predict不含图像处理 t0 time.perf_counter() for k in range(n_rounds): clf.predict(X[k % len(X)][None, :]) dt (time.perf_counter() - t0) / n_rounds * 1000 print(fpredict 平均耗时 {dt:.3f} ms/帧) return dt if __name__ __main__: preflight(model/svm_fd.joblib, cache/fd_feats.npz)第一项的自检率不是准确率而是“模型对自己训练过的样本有多自信”它的用途是发现类别坍缩——如果某个类的 self_acc 只有 0.3说明这一类在特征空间里跟别的类糊成一团加多少个样本都救不回来得回头改特征。第二项抓的是死维度22 维里如果某一维方差接近 0那它在 SVM 里就是个常数项白占位置还稀释距离删掉更干净。第三项给的是纯推理延迟加上图像处理那部分找轮廓、重采样、FFT才是完整的单帧开销我在 256×256 分辨率上量到的总耗时通常在 6 到 12 ms 之间具体取决于背景复杂度。有个习惯是从那以后一直保持的任何一次“感觉准确率上来了”的改动都必须跑一遍这段自检把三个数字跟上一版对比。因为有太多次交叉验证分数涨了两个点结果 self_acc 分布变得很歪端到端延迟翻倍实际上是把模型调成了过拟合某个类别。这三个数字摆在一起看比只看一个 accuracy 靠谱得多。源码包里的特征提取和训练部分按第 3 章的目录摆好就能直接跑样本库不用重新采先把基线跑出来再按第 6 章的增广和参数扫描往上推。别一上来就改模型八成的问题都出在轮廓提取和重采样那两步把这两处的中间结果保存成图看一眼比调一天参数有用。希望帮到你。本文还有配套的精品资源点击获取