简介基于Python实现的人脸识别图像超分辨率重建项目面向计算机科学、人工智能、数据科学与大数据技术、通信、物联网等专业的在校学生、教师及企业开发者主要解决低分辨率人脸图像重建为高清细节、辅助人脸识别的落地问题同时可满足课程设计、期末大作业、毕业设计等应用场景。资源包共2000个文件其中1955张jpg图像用于人脸数据集与重建效果对比20个Python源码文件实现人脸检测、特征提取与超分重建在内的核心流程并附带详细注释另有HTML可视化页面、sh训练脚本、json/yaml/xml配置及说明文档便于直接运行与二次开发。压缩包约112MB目录结构清晰适合从入门到进阶逐步学习。目前已有293人学习下载借助源码注释与可视化对比页面可迅速理解超分辨率重建的完整思路也可在此基础上扩展功能用于项目演示或论文实验。1. 从低清人脸说起超分辨率重建的任务与选型在监控和门禁这类实际场景里捕捉到的人脸往往只有几十乘几十像素直接送给人脸识别模型特征提取器很难稳定输出可用的向量。图像超分辨率重建不是简单放大插值而是通过先验和学习从低分辨率图像恢复高频细节让后续识别流程拿到质量更高的输入。基于Python实现这一流程最常见的组合是OpenCV做预处理、PyTorch做超分网络、Flask包装成Web演示。这套源码正是按照这条链路组织起来人脸检测、人脸裁剪、超分辨率重建、前后台展示代码附带详细中文注释可以当成毕业设计、课程设计或初期项目立项演示来用。阅读源码时建议先跑通Web页面再逐个模块读实现这样能快速建立“输入一张低清图输出一张高清图”的整体感觉。2. 人脸检测与核心预处理OpenCV与MTCNN的选型对比超分重建之前必须把人脸区域定位出来。直接对整幅图超分背景会浪费算力而且人脸区域占比小重建效果不聚焦。这套源码选用的是先做人脸检测把低分辨率人脸裁剪出来再送入超分网络。选型上有两条常见路线OpenCV Haar Cascade和MTCNN。项目里两种都保留了用注释标注了各自的使用边界方便在不同场景下切换。2.1 为什么先做检测而不是直接超分从算力角度看超分网络的计算量随输入尺寸平方增长。如果整张监控画面是1920×1080人脸只有60×60像素直接整图超分会浪费大量计算在墙壁和地面这些无意义区域。从效果角度看训练超分模型时用的数据是人脸块推理时输入也应当是人脸块这样才和训练分布一致。如果把人脸从原图中裁剪出来模型学到的纹理先验就能集中在人脸的皮肤、眼睛、边缘上。另一个原因是人脸识别下游任务通常只需要人脸区域的标准尺寸。比如ArcFace识别模型要求输入112×112人脸超分重建的目标尺寸可以直接对齐到识别模型要求省去二次缩放。所以在很多实际工程里超分模块其实是“检测对齐超分特征提取”整条pipeline中的一环而不是独立功能。讲到这一步项目里用人脸检测到的人脸框直接作为超分输入就是为了让整个流程串成一个完整且可解释的demo。2.2 OpenCV Haar Cascade 的检测代码与参数OpenCV内置的Haar Cascade是最轻量的人脸检测方案不需要额外模型文件也无需GPU。在项目中用于快速定位正面人脸非常合适。下面是代码片段import cv2 cascade cv2.CascadeClassifier(data/haarcascade_frontalface_default.xml) img cv2.imread(low_face.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces cascade.detectMultiScale( gray, scaleFactor1.1, # 每层缩放比例越小越慢但越准 minNeighbors5, # 目标周围至少5个候选框才保留 minSize(30, 30) # 小于30x30的候选框直接丢弃 ) for (x, y, w, h) in faces: face img[y:yh, x:xw]逻辑说明detectMultiScale首先对图像构建金字塔每次缩放scaleFactor滑动窗口在每一层上检测哈尔特征多个窗口会形成候选区域。minNeighbors用于抑制误检值越大越好但容易漏掉侧脸或部分遮挡的人脸。minSize针对监控场景很重要因为远距离的小脸会被当成背景噪声。参数调优时我对scaleFactor的体会是1.05到1.1之间都比较稳超过1.2会明显漏检minNeighbors设在3到6之间门禁场景建议5以上。如果你的摄像头俯仰角较大比如装在门顶Haar Cascade漏检率会明显上升这个抉择不要等全部代码跑通再改最好在预处理阶段就通过配置文件固定下来。2.3 MTCNN 的引入与对齐裁剪Haar Cascade只能给出矩形框无法给出关键点。当人脸存在旋转或角度偏移时超分网络学到的特征容易失真。MTCNN在检测同时输出双眼、鼻尖、嘴角共五个关键点借助关键点可以做仿射变换把人脸对齐到水平姿态。项目注释中提到MTCNN虽有额外依赖但对后续识别率提升明显。下面是对齐人脸的关键代码from mtcnn import MTCNN import cv2 import numpy as np detector MTCNN() img cv2.imread(low_face.jpg) rgb_img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) results detector.detect_faces(rgb_img) if results: keypoints results[0][keypoints] left_eye np.array(keypoints[left_eye], dtypenp.float32) right_eye np.array(keypoints[right_eye], dtypenp.float32) # 计算眼睛连线与水平方向的夹角 dx right_eye[0] - left_eye[0] dy right_eye[1] - left_eye[1] angle np.degrees(np.arctan2(dy, dx)) M cv2.getRotationMatrix2D(tuple(left_eye), angle, scale1.0) aligned cv2.warpAffine(rgb_img, M, (rgb_img.shape[1], rgb_img.shape[0]))MTCNN返回的box是整数元组但可能出现负数坐标或超出图像宽高的值。我一般会做一次边界裁剪避免后续numpy切片越界。对齐后的人脸同样需要重新裁剪再进入超分模型。另外低分辨率人脸图像通常伴有压缩噪声SRCNN输入前增加一个3x3的高斯滤波虽然会丢失一些边缘但能避免模型把压缩伪影当作有效纹理去放大。我通常只在推理时使用轻度的medianBlur训练时不加以免改变数据分布。2.4 预处理管线归一化与边界问题在把裁剪后的人脸送入超分网络前需要统一尺寸。SRCNN这类CNN要求固定输入项目里设为64×64或128×128答辩时可以自行改参数。常用做法是先把裁剪块等比缩放到短边等于目标尺寸再中心剪切到完全一致而不是直接拉伸否则会引入人脸的横向变形。随后进行归一化face_gray cv2.cvtColor(face_crop, cv2.COLOR_BGR2GRAY) face_resized cv2.resize(face_gray, (64, 64), interpolationcv2.INTER_CUBIC) face_norm (face_resized.astype(np.float32) - 127.5) / 128.0这里的归一化采用类似“0.5均值、0.5标准差”的做法把范围压到[-1, 1]。还可以改用减去数据集均值再除以方差但后者依赖统计值项目里为了通用性选了简单方案。注意训练时数据生成和推理时的预处理必须保持一致很多复现跑不出效果就是因为训练时用了一整套augmentation推理时却只resize导致分布漂移。下表对比两种检测器的工程属性帮助选型检测器依赖包CPU推理耗时关键点支持适合场景Haar Cascadeopencv-python约15ms否正面清晰人脸、实时预览MTCNNmtcnn, tensorflow约180ms是倾斜、遮挡、视频中的人脸选择标准很直接如果超分后的下游任务是人脸识别优先MTCNN如果只是演示超分效果、追求交互流畅Haar Cascade足够了。项目源码里用一个配置文件切换检测后端修改一处即可这也是后面二次开发时最容易替换的部分。3. 超分重建模型SRCNN 结构与训练实现拿到人脸图块后超分网络负责学习从低分辨率到高分辨率的非线性映射。SRCNN是三卷积层结构的开山之作参数不足一万CPU上单帧推理只需要毫秒级非常适合课程设计阶段完整读懂每一个参数。虽然它没有后来ESPCN、SRGAN那样激进但作为入门和毕设基础SRCNN的稳定性是最大优势。在GPU上训练时batch_size可以调到64学习率同步提高到2e-4CPU训练则建议batch_size16并把线程数设置为4训练时间会缩短一半。3.1 SRCNN 原理稀疏编码到深度学习的演进传统插值算法如双三次插值、Lanczos只依赖局部邻域像素做加权平均无法恢复高频纹理。SRCNN的核心是把“低分辨率插值放大”和“高频细节补偿”合成为一步学习。流程是低分辨率图像先通过双三次插值放大到目标尺寸然后交给卷积网络。第一个卷积层负责从放大图像中提取特征块第二个卷积层把这些特征块做非线性映射第三个卷积层把映射结果重建为最终图像。每一步都有清晰的意义和后来端到端隐空间学习的网络相比SRCNN更接近“手动设计数据驱动”的过渡形态。3.2 模型结构与参数量分析模型在PyTorch中的定义如下import torch.nn as nn class SRCNN(nn.Module): def __init__(self, num_channels3): super(SRCNN, self).__init__() self.conv1 nn.Conv2d(num_channels, 64, kernel_size9, padding4) self.conv2 nn.Conv2d(64, 32, kernel_size1, padding0) self.conv3 nn.Conv2d(32, num_channels, kernel_size5, padding2) self.relu nn.ReLU(inplaceTrue) def forward(self, x): x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.conv3(x) return x卷积层的padding选择依据是输出尺寸不变对kernel9padding4才能保持宽高kernel1时padding0即可kernel5时padding2。颜色通道设为3直接处理RGB人脸块。如果训练数据是灰度人脸可以改成1但要注意加载权重时第一层和第三层的维度也要对应调整。层输入通道输出通道卷积核参数数量conv13649×915616conv264321×12080conv33235×52403合计约2万个参数对于超分任务来说非常轻量。这也是为什么这个项目在实际CPU部署时不用特别复杂的推理优化就能跑得起来。3.3 训练数据准备从公开数据集构建低分-高分对训练SRCNN需要成对的HR原图和LR降质图。最直接的做法是准备一批高清人脸图先做模糊下采样得到LR再把LR放大回和HR相同的尺寸最终让网络学习“放大后图像→HR”的差值。下面是一个实时数据对生成函数import cv2 import numpy as np def gen_pair(hr_img, scale4): h, w hr_img.shape[:2] lr_img cv2.resize(hr_img, (w // scale, h // scale), interpolationcv2.INTER_CUBIC) lr_up cv2.resize(lr_img, (w, h), interpolationcv2.INTER_CUBIC) return lr_up, hr_imgscale控制降采样倍数一般取2、3、4。需要注意生成LR时如果先高斯模糊再下采样模拟的是真实镜头失焦直接双三次下采样模拟的是数字缩放。监控场景建议加入模糊和少量噪声避免模型只在理想缩放下有效。项目里将这批生成函数放在数据加载器中每轮随机生成相当于免费的数据增强。3.4 训练代码与指标监控训练采用MSE作为损失函数选用Adam优化器并在每个epoch结束后计算验证集PSNR。PSNR比Loss更直观是超分领域最常用的指标。核心训练循环如下import torch import torch.optim as optim import numpy as np def psnr(img1, img2, max_val1.0): mse np.mean((img1 - img2) ** 2) if mse 0: return float(inf) return 10 * np.log10(max_val**2 / mse) model SRCNN(3) criterion torch.nn.MSELoss() optimizer optim.Adam(model.parameters(), lr1e-4) scheduler optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) for epoch in range(30): model.train() for lr_up, hr in train_loader: optimizer.zero_grad() out model(lr_up) loss criterion(out, hr) loss.backward() optimizer.step() scheduler.step() model.eval() val_psnr evaluate_psnr(model, val_loader) print(fepoch {epoch}: psnr{val_psnr:.2f} dB)代码里有一个常见坑当像素归一到[0,1]时psnr函数的max_val应设为1.0如果把像素输出保持在0-255max_val才是255。项目里的统一做法是数据归一化到[0,1]所以PSNR计算时max_val1.0。训练中如果PSNR不升先检查数据的通道顺序和归一化一致性。训练完成后把state_dict保存为weights/srcnn.pth。加载时需要先创建模型实例再load_state_dict不能用torch.load直接给模型赋值。另一个容易出错的是自动求导推理时记得model.eval()和with torch.no_grad()否则显存会被不必要的计算图占住。训练步数根据经验SRCNN在30个epoch内就有可感知的效果但想要更细腻的纹理需要多尺度训练也就是说同一个HR块分别按2x、3x、4x生成三个LR对放进同一批数据。这会让模型对输入尺寸不那么敏感。4. 用 Flask 把模型包装成 Web 演示系统源码包里的HTML文件并不是静态页面而是Flask模板。index.html负责上传低清人脸图show_2.html用左右对比方式展示原图和超分结果face.html、original.html等则分别展示检测人脸和原图。把这些页面拼起来就形成一个可在浏览器里点击体验的完整系统比命令行演示更直观也更容易在答辩中展示效果。4.1 项目结构与前后端分工项目目录按模块划分project/ ├── app.py ├── train.py ├── models/ │ └── srcnn.pth ├── utils/ │ ├── face_detector.py │ └── sr_model.py ├── templates/ │ ├── base.html │ ├── index.html │ ├── show_2.html │ ├── face.html │ └── original.html └── uploads/utils/face_detector.py封装了检测器初始化与检测逻辑utils/sr_model.py负责加载权重和推理。app.py只关心HTTP请求与模板渲染不直接操作模型细节。这种分层方式在注释里写得很清楚二次开发时新增一个基于GAN的超分模型不需要改动前端。4.2 后端推理接口实现app.py中最核心的是接收上传图片并进入预处理、超分、编码返回这条链路from flask import Flask, render_template, request, redirect, url_for import cv2 import numpy as np from utils.face_detector import detect_face from utils.sr_model import super_resolve app Flask(__name__) model load_srcnn() # 全局加载一次避免每次请求都读盘 def process_image(path): img cv2.imread(path) box detect_face(img) # 返回(x, y, w, h) x, y, w, h box face img[y:yh, x:xw] sr_face super_resolve(face, model) # 输出为0-255 RGB numpy return img, face, sr_face def encode_img(img_rgb): _, buffer cv2.imencode(.jpg, cv2.cvtColor(img_rgb, cv2.COLOR_RGB2BGR)) import base64 return data:image/jpeg;base64, base64.b64encode(buffer).decode(utf-8) app.route(/, methods[GET, POST]) def index(): if request.method POST: file request.files[image] if not file or file.filename : return redirect(url_for(index)) path uploads/ file.filename file.save(path) original, face, sr_face process_image(path) return render_template(show_2.html, originalencode_img(original), faceencode_img(face), sr_faceencode_img(sr_face)) return render_template(index.html)代码逻辑说明process_image返回的是BGR格式的numpy数组但encode_img期望RGB所以编码前先做一次通道转换。用base64嵌入HTML而非保存临时文件可避免并发写文件时的文件名冲突。如果图像较大base64字符串会变长但演示场景下一般几百KB不影响体验。4.3 前端模板表单提交与对比展示index.html只需一个带enctype的文件上传表单。show_2.html通过Flask传入的base64字符串直接作为img src显示不需要额外请求。为了直观展示重建效果页面里可以并联显示低清脸和高清脸div h3低清人脸/h3 img src{{ face_path }} stylewidth: 128px; height: 128px; /div div h3超分重建结果/h3 img src{{ sr_face_path }} stylewidth: 128px; height: 128px; /div注意Flask模板变量名需要与render_template关键字保持一致。实际项目里所有页面可以继承base.html把导航栏和页脚逻辑抽出来。show_2.html通过{% extends base.html %}复用公共头部改动一次全局生效。源码包中的base.html正是这个作用建议先读它理解模板层级。如果上传的图片本身就是高分辨率检测到的face区域清晰超分效果就不明显。建议在实验中先准备一张自己拍的模糊人脸图或者用脚本先对高清图做下采样再上传。4.4 启动与联调命令确保依赖安装完成项目启动只需要两条命令pip install flask opencv-python torch torchvision mtcnn python app.py浏览器打开 http://127.0.0.1:5000 访问。如果5000端口被占用可以在app.run(host0.0.0.0, port8080)中指定其他端口。注意host0.0.0.0可以让局域网内手机访问方便演示。常见问题还有uploads目录不存在导致保存失败模型权重路径错误导致加载失败MTCNN在CPU上首次加载较慢cv2.imread读不到中文路径下的中文文件名。最后一个在Windows上很容易发生一般会改成先读取bytes再用cv2.imdecode解码而不是直接传路径给imread。前端页面运行起来后可以先上传一张含单人脸的图片观察检测框是否正确。检测框错位时超分重建的人脸可能包含大量背景这时回到utils/face_detector.py调整minNeighbors参数。如果检测不到人脸考虑降低minSize到20。这些调试步骤在项目注释中都有对应位置的标注按图索骥即可。5. 把模型导出为 ONNXCPU 环境下的推理加速与精度验证课程设计答辩现场通常没有GPUPyTorch CPU推理虽然能跑但每次加载权重、构建计算图都有额外开销。我一般会在项目交付前把SRCNN导出为ONNX再用onnxruntime加载这样部署机只需要安装onnxruntime和opencv连PyTorch都不用装同时推理速度还能提升10%-20%。导出时需要注意固定输入尺寸import torch import onnxruntime as ort model SRCNN(3).eval() dummy torch.randn(1, 3, 64, 64) torch.onnx.export(model, dummy, srcnn.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11)dynamic_axes里我把batch维度设为动态但保留宽高固定为64×64。SRCNN是全卷积网络理论上支持任意尺寸输入但固定尺寸后ONNX可以对卷积算子做更激进的优化推理更稳定。导出后验证一下输出和PyTorch一致。使用onnxruntime推理的代码是session ort.InferenceSession(srcnn.onnx, providers[CPUExecutionProvider]) # lr_numpy 为 [N, C, H, W] 的 float32 数组 onnx_out session.run([output], {input: lr_numpy})[0]注意这里的输入是numpy数组不需要predict模式。如果之前PyTorch推理时输入归一化到[-1,1]导出后的模型必须沿用相同归一化。我见过最频繁的报错就是导出后输入范围不匹配导致重建图像整体偏亮或偏暗。最后一个验证环节建议从测试集中挑选20张低分辨率人脸分别统计MSE和PSNR再把重建前后人脸各送入一个现成的识别模型记录特征向量的余弦相似度提升值。具体做法是在show_2.html页面下方增加一个段落直接显示PSNR和推理耗时。这样答辩时一键截图即可说明超分不仅让图像更好看还让人脸识别准确率从78%提升到92%这样的证据比单纯展示图像更有说服力。这个项目在CPU上还有一个更激进的优化方向使用torch.jit.script对模型进行trace然后设置torch.set_num_threads(4)限制线程数能减少频繁切换的开销。对于这样的小模型线程数过高反而变慢。本文还有配套的精品资源点击获取 
长河君 · 2026/9/13 14:42:14 · 阅读 1.2k 基于Python的人脸超分辨率重建：从OpenCV检测到SRCNN部署
简介基于Python实现的人脸识别图像超分辨率重建项目面向计算机科学、人工智能、数据科学与大数据技术、通信、物联网等专业的在校学生、教师及企业开发者主要解决低分辨率人脸图像重建为高清细节、辅助人脸识别的落地问题同时可满足课程设计、期末大作业、毕业设计等应用场景。资源包共2000个文件其中1955张jpg图像用于人脸数据集与重建效果对比20个Python源码文件实现人脸检测、特征提取与超分重建在内的核心流程并附带详细注释另有HTML可视化页面、sh训练脚本、json/yaml/xml配置及说明文档便于直接运行与二次开发。压缩包约112MB目录结构清晰适合从入门到进阶逐步学习。目前已有293人学习下载借助源码注释与可视化对比页面可迅速理解超分辨率重建的完整思路也可在此基础上扩展功能用于项目演示或论文实验。1. 从低清人脸说起超分辨率重建的任务与选型在监控和门禁这类实际场景里捕捉到的人脸往往只有几十乘几十像素直接送给人脸识别模型特征提取器很难稳定输出可用的向量。图像超分辨率重建不是简单放大插值而是通过先验和学习从低分辨率图像恢复高频细节让后续识别流程拿到质量更高的输入。基于Python实现这一流程最常见的组合是OpenCV做预处理、PyTorch做超分网络、Flask包装成Web演示。这套源码正是按照这条链路组织起来人脸检测、人脸裁剪、超分辨率重建、前后台展示代码附带详细中文注释可以当成毕业设计、课程设计或初期项目立项演示来用。阅读源码时建议先跑通Web页面再逐个模块读实现这样能快速建立“输入一张低清图输出一张高清图”的整体感觉。2. 人脸检测与核心预处理OpenCV与MTCNN的选型对比超分重建之前必须把人脸区域定位出来。直接对整幅图超分背景会浪费算力而且人脸区域占比小重建效果不聚焦。这套源码选用的是先做人脸检测把低分辨率人脸裁剪出来再送入超分网络。选型上有两条常见路线OpenCV Haar Cascade和MTCNN。项目里两种都保留了用注释标注了各自的使用边界方便在不同场景下切换。2.1 为什么先做检测而不是直接超分从算力角度看超分网络的计算量随输入尺寸平方增长。如果整张监控画面是1920×1080人脸只有60×60像素直接整图超分会浪费大量计算在墙壁和地面这些无意义区域。从效果角度看训练超分模型时用的数据是人脸块推理时输入也应当是人脸块这样才和训练分布一致。如果把人脸从原图中裁剪出来模型学到的纹理先验就能集中在人脸的皮肤、眼睛、边缘上。另一个原因是人脸识别下游任务通常只需要人脸区域的标准尺寸。比如ArcFace识别模型要求输入112×112人脸超分重建的目标尺寸可以直接对齐到识别模型要求省去二次缩放。所以在很多实际工程里超分模块其实是“检测对齐超分特征提取”整条pipeline中的一环而不是独立功能。讲到这一步项目里用人脸检测到的人脸框直接作为超分输入就是为了让整个流程串成一个完整且可解释的demo。2.2 OpenCV Haar Cascade 的检测代码与参数OpenCV内置的Haar Cascade是最轻量的人脸检测方案不需要额外模型文件也无需GPU。在项目中用于快速定位正面人脸非常合适。下面是代码片段import cv2 cascade cv2.CascadeClassifier(data/haarcascade_frontalface_default.xml) img cv2.imread(low_face.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces cascade.detectMultiScale( gray, scaleFactor1.1, # 每层缩放比例越小越慢但越准 minNeighbors5, # 目标周围至少5个候选框才保留 minSize(30, 30) # 小于30x30的候选框直接丢弃 ) for (x, y, w, h) in faces: face img[y:yh, x:xw]逻辑说明detectMultiScale首先对图像构建金字塔每次缩放scaleFactor滑动窗口在每一层上检测哈尔特征多个窗口会形成候选区域。minNeighbors用于抑制误检值越大越好但容易漏掉侧脸或部分遮挡的人脸。minSize针对监控场景很重要因为远距离的小脸会被当成背景噪声。参数调优时我对scaleFactor的体会是1.05到1.1之间都比较稳超过1.2会明显漏检minNeighbors设在3到6之间门禁场景建议5以上。如果你的摄像头俯仰角较大比如装在门顶Haar Cascade漏检率会明显上升这个抉择不要等全部代码跑通再改最好在预处理阶段就通过配置文件固定下来。2.3 MTCNN 的引入与对齐裁剪Haar Cascade只能给出矩形框无法给出关键点。当人脸存在旋转或角度偏移时超分网络学到的特征容易失真。MTCNN在检测同时输出双眼、鼻尖、嘴角共五个关键点借助关键点可以做仿射变换把人脸对齐到水平姿态。项目注释中提到MTCNN虽有额外依赖但对后续识别率提升明显。下面是对齐人脸的关键代码from mtcnn import MTCNN import cv2 import numpy as np detector MTCNN() img cv2.imread(low_face.jpg) rgb_img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) results detector.detect_faces(rgb_img) if results: keypoints results[0][keypoints] left_eye np.array(keypoints[left_eye], dtypenp.float32) right_eye np.array(keypoints[right_eye], dtypenp.float32) # 计算眼睛连线与水平方向的夹角 dx right_eye[0] - left_eye[0] dy right_eye[1] - left_eye[1] angle np.degrees(np.arctan2(dy, dx)) M cv2.getRotationMatrix2D(tuple(left_eye), angle, scale1.0) aligned cv2.warpAffine(rgb_img, M, (rgb_img.shape[1], rgb_img.shape[0]))MTCNN返回的box是整数元组但可能出现负数坐标或超出图像宽高的值。我一般会做一次边界裁剪避免后续numpy切片越界。对齐后的人脸同样需要重新裁剪再进入超分模型。另外低分辨率人脸图像通常伴有压缩噪声SRCNN输入前增加一个3x3的高斯滤波虽然会丢失一些边缘但能避免模型把压缩伪影当作有效纹理去放大。我通常只在推理时使用轻度的medianBlur训练时不加以免改变数据分布。2.4 预处理管线归一化与边界问题在把裁剪后的人脸送入超分网络前需要统一尺寸。SRCNN这类CNN要求固定输入项目里设为64×64或128×128答辩时可以自行改参数。常用做法是先把裁剪块等比缩放到短边等于目标尺寸再中心剪切到完全一致而不是直接拉伸否则会引入人脸的横向变形。随后进行归一化face_gray cv2.cvtColor(face_crop, cv2.COLOR_BGR2GRAY) face_resized cv2.resize(face_gray, (64, 64), interpolationcv2.INTER_CUBIC) face_norm (face_resized.astype(np.float32) - 127.5) / 128.0这里的归一化采用类似“0.5均值、0.5标准差”的做法把范围压到[-1, 1]。还可以改用减去数据集均值再除以方差但后者依赖统计值项目里为了通用性选了简单方案。注意训练时数据生成和推理时的预处理必须保持一致很多复现跑不出效果就是因为训练时用了一整套augmentation推理时却只resize导致分布漂移。下表对比两种检测器的工程属性帮助选型检测器依赖包CPU推理耗时关键点支持适合场景Haar Cascadeopencv-python约15ms否正面清晰人脸、实时预览MTCNNmtcnn, tensorflow约180ms是倾斜、遮挡、视频中的人脸选择标准很直接如果超分后的下游任务是人脸识别优先MTCNN如果只是演示超分效果、追求交互流畅Haar Cascade足够了。项目源码里用一个配置文件切换检测后端修改一处即可这也是后面二次开发时最容易替换的部分。3. 超分重建模型SRCNN 结构与训练实现拿到人脸图块后超分网络负责学习从低分辨率到高分辨率的非线性映射。SRCNN是三卷积层结构的开山之作参数不足一万CPU上单帧推理只需要毫秒级非常适合课程设计阶段完整读懂每一个参数。虽然它没有后来ESPCN、SRGAN那样激进但作为入门和毕设基础SRCNN的稳定性是最大优势。在GPU上训练时batch_size可以调到64学习率同步提高到2e-4CPU训练则建议batch_size16并把线程数设置为4训练时间会缩短一半。3.1 SRCNN 原理稀疏编码到深度学习的演进传统插值算法如双三次插值、Lanczos只依赖局部邻域像素做加权平均无法恢复高频纹理。SRCNN的核心是把“低分辨率插值放大”和“高频细节补偿”合成为一步学习。流程是低分辨率图像先通过双三次插值放大到目标尺寸然后交给卷积网络。第一个卷积层负责从放大图像中提取特征块第二个卷积层把这些特征块做非线性映射第三个卷积层把映射结果重建为最终图像。每一步都有清晰的意义和后来端到端隐空间学习的网络相比SRCNN更接近“手动设计数据驱动”的过渡形态。3.2 模型结构与参数量分析模型在PyTorch中的定义如下import torch.nn as nn class SRCNN(nn.Module): def __init__(self, num_channels3): super(SRCNN, self).__init__() self.conv1 nn.Conv2d(num_channels, 64, kernel_size9, padding4) self.conv2 nn.Conv2d(64, 32, kernel_size1, padding0) self.conv3 nn.Conv2d(32, num_channels, kernel_size5, padding2) self.relu nn.ReLU(inplaceTrue) def forward(self, x): x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.conv3(x) return x卷积层的padding选择依据是输出尺寸不变对kernel9padding4才能保持宽高kernel1时padding0即可kernel5时padding2。颜色通道设为3直接处理RGB人脸块。如果训练数据是灰度人脸可以改成1但要注意加载权重时第一层和第三层的维度也要对应调整。层输入通道输出通道卷积核参数数量conv13649×915616conv264321×12080conv33235×52403合计约2万个参数对于超分任务来说非常轻量。这也是为什么这个项目在实际CPU部署时不用特别复杂的推理优化就能跑得起来。3.3 训练数据准备从公开数据集构建低分-高分对训练SRCNN需要成对的HR原图和LR降质图。最直接的做法是准备一批高清人脸图先做模糊下采样得到LR再把LR放大回和HR相同的尺寸最终让网络学习“放大后图像→HR”的差值。下面是一个实时数据对生成函数import cv2 import numpy as np def gen_pair(hr_img, scale4): h, w hr_img.shape[:2] lr_img cv2.resize(hr_img, (w // scale, h // scale), interpolationcv2.INTER_CUBIC) lr_up cv2.resize(lr_img, (w, h), interpolationcv2.INTER_CUBIC) return lr_up, hr_imgscale控制降采样倍数一般取2、3、4。需要注意生成LR时如果先高斯模糊再下采样模拟的是真实镜头失焦直接双三次下采样模拟的是数字缩放。监控场景建议加入模糊和少量噪声避免模型只在理想缩放下有效。项目里将这批生成函数放在数据加载器中每轮随机生成相当于免费的数据增强。3.4 训练代码与指标监控训练采用MSE作为损失函数选用Adam优化器并在每个epoch结束后计算验证集PSNR。PSNR比Loss更直观是超分领域最常用的指标。核心训练循环如下import torch import torch.optim as optim import numpy as np def psnr(img1, img2, max_val1.0): mse np.mean((img1 - img2) ** 2) if mse 0: return float(inf) return 10 * np.log10(max_val**2 / mse) model SRCNN(3) criterion torch.nn.MSELoss() optimizer optim.Adam(model.parameters(), lr1e-4) scheduler optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) for epoch in range(30): model.train() for lr_up, hr in train_loader: optimizer.zero_grad() out model(lr_up) loss criterion(out, hr) loss.backward() optimizer.step() scheduler.step() model.eval() val_psnr evaluate_psnr(model, val_loader) print(fepoch {epoch}: psnr{val_psnr:.2f} dB)代码里有一个常见坑当像素归一到[0,1]时psnr函数的max_val应设为1.0如果把像素输出保持在0-255max_val才是255。项目里的统一做法是数据归一化到[0,1]所以PSNR计算时max_val1.0。训练中如果PSNR不升先检查数据的通道顺序和归一化一致性。训练完成后把state_dict保存为weights/srcnn.pth。加载时需要先创建模型实例再load_state_dict不能用torch.load直接给模型赋值。另一个容易出错的是自动求导推理时记得model.eval()和with torch.no_grad()否则显存会被不必要的计算图占住。训练步数根据经验SRCNN在30个epoch内就有可感知的效果但想要更细腻的纹理需要多尺度训练也就是说同一个HR块分别按2x、3x、4x生成三个LR对放进同一批数据。这会让模型对输入尺寸不那么敏感。4. 用 Flask 把模型包装成 Web 演示系统源码包里的HTML文件并不是静态页面而是Flask模板。index.html负责上传低清人脸图show_2.html用左右对比方式展示原图和超分结果face.html、original.html等则分别展示检测人脸和原图。把这些页面拼起来就形成一个可在浏览器里点击体验的完整系统比命令行演示更直观也更容易在答辩中展示效果。4.1 项目结构与前后端分工项目目录按模块划分project/ ├── app.py ├── train.py ├── models/ │ └── srcnn.pth ├── utils/ │ ├── face_detector.py │ └── sr_model.py ├── templates/ │ ├── base.html │ ├── index.html │ ├── show_2.html │ ├── face.html │ └── original.html └── uploads/utils/face_detector.py封装了检测器初始化与检测逻辑utils/sr_model.py负责加载权重和推理。app.py只关心HTTP请求与模板渲染不直接操作模型细节。这种分层方式在注释里写得很清楚二次开发时新增一个基于GAN的超分模型不需要改动前端。4.2 后端推理接口实现app.py中最核心的是接收上传图片并进入预处理、超分、编码返回这条链路from flask import Flask, render_template, request, redirect, url_for import cv2 import numpy as np from utils.face_detector import detect_face from utils.sr_model import super_resolve app Flask(__name__) model load_srcnn() # 全局加载一次避免每次请求都读盘 def process_image(path): img cv2.imread(path) box detect_face(img) # 返回(x, y, w, h) x, y, w, h box face img[y:yh, x:xw] sr_face super_resolve(face, model) # 输出为0-255 RGB numpy return img, face, sr_face def encode_img(img_rgb): _, buffer cv2.imencode(.jpg, cv2.cvtColor(img_rgb, cv2.COLOR_RGB2BGR)) import base64 return data:image/jpeg;base64, base64.b64encode(buffer).decode(utf-8) app.route(/, methods[GET, POST]) def index(): if request.method POST: file request.files[image] if not file or file.filename : return redirect(url_for(index)) path uploads/ file.filename file.save(path) original, face, sr_face process_image(path) return render_template(show_2.html, originalencode_img(original), faceencode_img(face), sr_faceencode_img(sr_face)) return render_template(index.html)代码逻辑说明process_image返回的是BGR格式的numpy数组但encode_img期望RGB所以编码前先做一次通道转换。用base64嵌入HTML而非保存临时文件可避免并发写文件时的文件名冲突。如果图像较大base64字符串会变长但演示场景下一般几百KB不影响体验。4.3 前端模板表单提交与对比展示index.html只需一个带enctype的文件上传表单。show_2.html通过Flask传入的base64字符串直接作为img src显示不需要额外请求。为了直观展示重建效果页面里可以并联显示低清脸和高清脸div h3低清人脸/h3 img src{{ face_path }} stylewidth: 128px; height: 128px; /div div h3超分重建结果/h3 img src{{ sr_face_path }} stylewidth: 128px; height: 128px; /div注意Flask模板变量名需要与render_template关键字保持一致。实际项目里所有页面可以继承base.html把导航栏和页脚逻辑抽出来。show_2.html通过{% extends base.html %}复用公共头部改动一次全局生效。源码包中的base.html正是这个作用建议先读它理解模板层级。如果上传的图片本身就是高分辨率检测到的face区域清晰超分效果就不明显。建议在实验中先准备一张自己拍的模糊人脸图或者用脚本先对高清图做下采样再上传。4.4 启动与联调命令确保依赖安装完成项目启动只需要两条命令pip install flask opencv-python torch torchvision mtcnn python app.py浏览器打开 http://127.0.0.1:5000 访问。如果5000端口被占用可以在app.run(host0.0.0.0, port8080)中指定其他端口。注意host0.0.0.0可以让局域网内手机访问方便演示。常见问题还有uploads目录不存在导致保存失败模型权重路径错误导致加载失败MTCNN在CPU上首次加载较慢cv2.imread读不到中文路径下的中文文件名。最后一个在Windows上很容易发生一般会改成先读取bytes再用cv2.imdecode解码而不是直接传路径给imread。前端页面运行起来后可以先上传一张含单人脸的图片观察检测框是否正确。检测框错位时超分重建的人脸可能包含大量背景这时回到utils/face_detector.py调整minNeighbors参数。如果检测不到人脸考虑降低minSize到20。这些调试步骤在项目注释中都有对应位置的标注按图索骥即可。5. 把模型导出为 ONNXCPU 环境下的推理加速与精度验证课程设计答辩现场通常没有GPUPyTorch CPU推理虽然能跑但每次加载权重、构建计算图都有额外开销。我一般会在项目交付前把SRCNN导出为ONNX再用onnxruntime加载这样部署机只需要安装onnxruntime和opencv连PyTorch都不用装同时推理速度还能提升10%-20%。导出时需要注意固定输入尺寸import torch import onnxruntime as ort model SRCNN(3).eval() dummy torch.randn(1, 3, 64, 64) torch.onnx.export(model, dummy, srcnn.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11)dynamic_axes里我把batch维度设为动态但保留宽高固定为64×64。SRCNN是全卷积网络理论上支持任意尺寸输入但固定尺寸后ONNX可以对卷积算子做更激进的优化推理更稳定。导出后验证一下输出和PyTorch一致。使用onnxruntime推理的代码是session ort.InferenceSession(srcnn.onnx, providers[CPUExecutionProvider]) # lr_numpy 为 [N, C, H, W] 的 float32 数组 onnx_out session.run([output], {input: lr_numpy})[0]注意这里的输入是numpy数组不需要predict模式。如果之前PyTorch推理时输入归一化到[-1,1]导出后的模型必须沿用相同归一化。我见过最频繁的报错就是导出后输入范围不匹配导致重建图像整体偏亮或偏暗。最后一个验证环节建议从测试集中挑选20张低分辨率人脸分别统计MSE和PSNR再把重建前后人脸各送入一个现成的识别模型记录特征向量的余弦相似度提升值。具体做法是在show_2.html页面下方增加一个段落直接显示PSNR和推理耗时。这样答辩时一键截图即可说明超分不仅让图像更好看还让人脸识别准确率从78%提升到92%这样的证据比单纯展示图像更有说服力。这个项目在CPU上还有一个更激进的优化方向使用torch.jit.script对模型进行trace然后设置torch.set_num_threads(4)限制线程数能减少频繁切换的开销。对于这样的小模型线程数过高反而变慢。本文还有配套的精品资源点击获取