【CanMV K230 AI视觉】 人脸识别

【CanMV K230 AI视觉】 人脸识别

    • 人脸识别

动态测试效果可以去下面网站自己看。）

B站视频链接：已做成合集
抖音链接：已做成合集

人脸识别

前面学习过的人脸检测，只检测出人脸，而本实验要做的人脸识别，会学习人脸特征，然后比对，实现区分不同人脸。比如常用的人脸考勤机就是这样的原理。
在这里插入图片描述

先运行人脸注册代码，人脸注册代码会将CanMV U盘/sdcard/app/tests/utils/db_img/目录下的人脸图片进行识别，可以看到里面预存了2张人脸图片，我呢放了3张。
在这里插入图片描述

'''
实验名称：人脸注册
实验平台：01Studio CanMV K230
教程：wiki.01studio.cc
'''from libs.PipeLine import PipeLine, ScopedTiming
from libs.AIBase import AIBase
from libs.AI2D import Ai2d
import os
import ujson
from media.media import *
from time import *
import nncase_runtime as nn
import ulab.numpy as np
import time
import image
import aidemo
import random
import gc
import sys
import math# 自定义人脸检测任务类
class FaceDetApp(AIBase):def __init__(self,kmodel_path,model_input_size,anchors,confidence_threshold=0.25,nms_threshold=0.3,rgb888p_size=[1280,720],display_size=[1920,1080],debug_mode=0):super().__init__(kmodel_path,model_input_size,rgb888p_size,debug_mode)# kmodel路径self.kmodel_path=kmodel_path# 检测模型输入分辨率self.model_input_size=model_input_size# 置信度阈值self.confidence_threshold=confidence_threshold# nms阈值self.nms_threshold=nms_thresholdself.anchors=anchors# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug模式self.debug_mode=debug_mode# 实例化Ai2d，用于实现模型预处理self.ai2d=Ai2d(debug_mode)# 设置Ai2d的输入输出格式和类型self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT,nn.ai2d_format.NCHW_FMT,np.uint8, np.uint8)self.image_size=[]# 配置预处理操作，这里使用了pad和resize，Ai2d支持crop/shift/pad/resize/affine，具体代码请打开/sdcard/app/libs/AI2D.py查看def config_preprocess(self,input_image_size=None):with ScopedTiming("set preprocess config",self.debug_mode > 0):# 初始化ai2d预处理配置，默认为sensor给到AI的尺寸，可以通过设置input_image_size自行修改输入尺寸ai2d_input_size=input_image_size if input_image_size else self.rgb888p_sizeself.image_size=[input_image_size[1],input_image_size[0]]# 计算padding参数，并设置padding预处理self.ai2d.pad(self.get_pad_param(ai2d_input_size), 0, [104,117,123])# 设置resize预处理self.ai2d.resize(nn.interp_method.tf_bilinear, nn.interp_mode.half_pixel)# 构建预处理流程,参数为预处理输入tensor的shape和预处理输出的tensor的shapeself.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]],[1,3,self.model_input_size[1],self.model_input_size[0]])# 自定义后处理，results是模型输出的array列表，这里使用了aidemo库的face_det_post_process接口def postprocess(self,results):with ScopedTiming("postprocess",self.debug_mode > 0):res = aidemo.face_det_post_process(self.confidence_threshold,self.nms_threshold,self.model_input_size[0],self.anchors,self.image_size,results)if len(res)==0:return reselse:return res[0],res[1]def get_pad_param(self,image_input_size):dst_w = self.model_input_size[0]dst_h = self.model_input_size[1]# 计算最小的缩放比例，等比例缩放ratio_w = dst_w / image_input_size[0]ratio_h = dst_h / image_input_size[1]if ratio_w < ratio_h:ratio = ratio_welse:ratio = ratio_hnew_w = (int)(ratio * image_input_size[0])new_h = (int)(ratio * image_input_size[1])dw = (dst_w - new_w) / 2dh = (dst_h - new_h) / 2top = (int)(round(0))bottom = (int)(round(dh * 2 + 0.1))left = (int)(round(0))right = (int)(round(dw * 2 - 0.1))return [0,0,0,0,top, bottom, left, right]# 自定义人脸注册任务类
class FaceRegistrationApp(AIBase):def __init__(self,kmodel_path,model_input_size,rgb888p_size=[1920,1080],display_size=[1920,1080],debug_mode=0):super().__init__(kmodel_path,model_input_size,rgb888p_size,debug_mode)# kmodel路径self.kmodel_path=kmodel_path# 人脸注册模型输入分辨率self.model_input_size=model_input_size# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug模式self.debug_mode=debug_mode# 标准5官self.umeyama_args_112 = [38.2946 , 51.6963 ,73.5318 , 51.5014 ,56.0252 , 71.7366 ,41.5493 , 92.3655 ,70.7299 , 92.2041]self.ai2d=Ai2d(debug_mode)self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT,nn.ai2d_format.NCHW_FMT,np.uint8, np.uint8)# 配置预处理操作，这里使用了affine，Ai2d支持crop/shift/pad/resize/affine，具体代码请打开/sdcard/app/libs/AI2D.py查看def config_preprocess(self,landm,input_image_size=None):with ScopedTiming("set preprocess config",self.debug_mode > 0):ai2d_input_size=input_image_size if input_image_size else self.rgb888p_size# 计算affine矩阵，并设置仿射变换预处理affine_matrix = self.get_affine_matrix(landm)self.ai2d.affine(nn.interp_method.cv2_bilinear,0, 0, 127, 1,affine_matrix)# 构建预处理流程,参数为预处理输入tensor的shape和预处理输出的tensor的shapeself.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]],[1,3,self.model_input_size[1],self.model_input_size[0]])# 自定义后处理def postprocess(self,results):with ScopedTiming("postprocess",self.debug_mode > 0):return results[0][0]def svd22(self,a):# svds = [0.0, 0.0]u = [0.0, 0.0, 0.0, 0.0]v = [0.0, 0.0, 0.0, 0.0]s[0] = (math.sqrt((a[0] - a[3]) ** 2 + (a[1] + a[2]) ** 2) + math.sqrt((a[0] + a[3]) ** 2 + (a[1] - a[2]) ** 2)) / 2s[1] = abs(s[0] - math.sqrt((a[0] - a[3]) ** 2 + (a[1] + a[2]) ** 2))v[2] = math.sin((math.atan2(2 * (a[0] * a[1] + a[2] * a[3]), a[0] ** 2 - a[1] ** 2 + a[2] ** 2 - a[3] ** 2)) / 2) if \s[0] > s[1] else 0v[0] = math.sqrt(1 - v[2] ** 2)v[1] = -v[2]v[3] = v[0]u[0] = -(a[0] * v[0] + a[1] * v[2]) / s[0] if s[0] != 0 else 1u[2] = -(a[2] * v[0] + a[3] * v[2]) / s[0] if s[0] != 0 else 0u[1] = (a[0] * v[1] + a[1] * v[3]) / s[1] if s[1] != 0 else -u[2]u[3] = (a[2] * v[1] + a[3] * v[3]) / s[1] if s[1] != 0 else u[0]v[0] = -v[0]v[2] = -v[2]return u, s, vdef image_umeyama_112(self,src):# 使用Umeyama算法计算仿射变换矩阵SRC_NUM = 5SRC_DIM = 2src_mean = [0.0, 0.0]dst_mean = [0.0, 0.0]for i in range(0,SRC_NUM * 2,2):src_mean[0] += src[i]src_mean[1] += src[i + 1]dst_mean[0] += self.umeyama_args_112[i]dst_mean[1] += self.umeyama_args_112[i + 1]src_mean[0] /= SRC_NUMsrc_mean[1] /= SRC_NUMdst_mean[0] /= SRC_NUMdst_mean[1] /= SRC_NUMsrc_demean = [[0.0, 0.0] for _ in range(SRC_NUM)]dst_demean = [[0.0, 0.0] for _ in range(SRC_NUM)]for i in range(SRC_NUM):src_demean[i][0] = src[2 * i] - src_mean[0]src_demean[i][1] = src[2 * i + 1] - src_mean[1]dst_demean[i][0] = self.umeyama_args_112[2 * i] - dst_mean[0]dst_demean[i][1] = self.umeyama_args_112[2 * i + 1] - dst_mean[1]A = [[0.0, 0.0], [0.0, 0.0]]for i in range(SRC_DIM):for k in range(SRC_DIM):for j in range(SRC_NUM):A[i][k] += dst_demean[j][i] * src_demean[j][k]A[i][k] /= SRC_NUMT = [[1, 0, 0], [0, 1, 0], [0, 0, 1]]U, S, V = self.svd22([A[0][0], A[0][1], A[1][0], A[1][1]])T[0][0] = U[0] * V[0] + U[1] * V[2]T[0][1] = U[0] * V[1] + U[1] * V[3]T[1][0] = U[2] * V[0] + U[3] * V[2]T[1][1] = U[2] * V[1] + U[3] * V[3]scale = 1.0src_demean_mean = [0.0, 0.0]src_demean_var = [0.0, 0.0]for i in range(SRC_NUM):src_demean_mean[0] += src_demean[i][0]src_demean_mean[1] += src_demean[i][1]src_demean_mean[0] /= SRC_NUMsrc_demean_mean[1] /= SRC_NUMfor i in range(SRC_NUM):src_demean_var[0] += (src_demean_mean[0] - src_demean[i][0]) * (src_demean_mean[0] - src_demean[i][0])src_demean_var[1] += (src_demean_mean[1] - src_demean[i][1]) * (src_demean_mean[1] - src_demean[i][1])src_demean_var[0] /= SRC_NUMsrc_demean_var[1] /= SRC_NUMscale = 1.0 / (src_demean_var[0] + src_demean_var[1]) * (S[0] + S[1])T[0][2] = dst_mean[0] - scale * (T[0][0] * src_mean[0] + T[0][1] * src_mean[1])T[1][2] = dst_mean[1] - scale * (T[1][0] * src_mean[0] + T[1][1] * src_mean[1])T[0][0] *= scaleT[0][1] *= scaleT[1][0] *= scaleT[1][1] *= scalereturn Tdef get_affine_matrix(self,sparse_points):# 获取affine变换矩阵with ScopedTiming("get_affine_matrix", self.debug_mode > 1):# 使用Umeyama算法计算仿射变换矩阵matrix_dst = self.image_umeyama_112(sparse_points)matrix_dst = [matrix_dst[0][0],matrix_dst[0][1],matrix_dst[0][2],matrix_dst[1][0],matrix_dst[1][1],matrix_dst[1][2]]return matrix_dst# 人脸注册任务类
class FaceRegistration:def __init__(self,face_det_kmodel,face_reg_kmodel,det_input_size,reg_input_size,database_dir,anchors,confidence_threshold=0.25,nms_threshold=0.3,rgb888p_size=[1280,720],display_size=[1920,1080],debug_mode=0):# 人脸检测模型路径self.face_det_kmodel=face_det_kmodel# 人脸注册模型路径self.face_reg_kmodel=face_reg_kmodel# 人脸检测模型输入分辨率self.det_input_size=det_input_size# 人脸注册模型输入分辨率self.reg_input_size=reg_input_sizeself.database_dir=database_dir# anchorsself.anchors=anchors# 置信度阈值self.confidence_threshold=confidence_threshold# nms阈值self.nms_threshold=nms_threshold# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug_mode模式self.debug_mode=debug_modeself.face_det=FaceDetApp(self.face_det_kmodel,model_input_size=self.det_input_size,anchors=self.anchors,confidence_threshold=self.confidence_threshold,nms_threshold=self.nms_threshold,debug_mode=0)self.face_reg=FaceRegistrationApp(self.face_reg_kmodel,model_input_size=self.reg_input_size,rgb888p_size=self.rgb888p_size)# run函数def run(self,input_np,img_file):self.face_det.config_preprocess(input_image_size=[input_np.shape[3],input_np.shape[2]])det_boxes,landms=self.face_det.run(input_np)if det_boxes:if det_boxes.shape[0] == 1:# 若是只检测到一张人脸，则将该人脸注册到数据库db_i_name = img_file.split('.')[0]for landm in landms:self.face_reg.config_preprocess(landm,input_image_size=[input_np.shape[3],input_np.shape[2]])reg_result = self.face_reg.run(input_np)with open(self.database_dir+'{}.bin'.format(db_i_name), "wb") as file:file.write(reg_result.tobytes())print('Success!')else:print('Only one person in a picture when you sign up')else:print('No person detected')def image2rgb888array(self,img):   #4维# 将Image转换为rgb888格式with ScopedTiming("fr_kpu_deinit",self.debug_mode > 0):img_data_rgb888=img.to_rgb888()# hwc,rgb888img_hwc=img_data_rgb888.to_numpy_ref()shape=img_hwc.shapeimg_tmp = img_hwc.reshape((shape[0] * shape[1], shape[2]))img_tmp_trans = img_tmp.transpose()img_res=img_tmp_trans.copy()# chw,rgb888img_return=img_res.reshape((1,shape[2],shape[0],shape[1]))return  img_returnif __name__=="__main__":# 人脸检测模型路径face_det_kmodel_path="/sdcard/app/tests/kmodel/face_detection_320.kmodel"# 人脸注册模型路径face_reg_kmodel_path="/sdcard/app/tests/kmodel/face_recognition.kmodel"# 其它参数anchors_path="/sdcard/app/tests/utils/prior_data_320.bin"database_dir="/sdcard/app/tests/utils/db/"database_img_dir="/sdcard/app/tests/utils/db_img/"face_det_input_size=[320,320]face_reg_input_size=[112,112]confidence_threshold=0.5nms_threshold=0.2anchor_len=4200det_dim=4anchors = np.fromfile(anchors_path, dtype=np.float)anchors = anchors.reshape((anchor_len,det_dim))max_register_face = 100              #数据库最多人脸个数feature_num = 128                    #人脸识别特征维度fr=FaceRegistration(face_det_kmodel_path,face_reg_kmodel_path,det_input_size=face_det_input_size,reg_input_size=face_reg_input_size,database_dir=database_dir,anchors=anchors,confidence_threshold=confidence_threshold,nms_threshold=nms_threshold)try:# 获取图像列表img_list = os.listdir(database_img_dir)for img_file in img_list:#本地读取一张图像full_img_file = database_img_dir + img_fileprint(full_img_file)img = image.Image(full_img_file)img.compress_for_ide()# 转rgb888的chw格式rgb888p_img_ndarry = fr.image2rgb888array(img)# 人脸注册fr.run(rgb888p_img_ndarry,img_file)gc.collect()except Exception as e:sys.print_exception(e)finally:fr.face_det.deinit()fr.face_reg.deinit()

运行后可以看到在/sdcard/app/tests/utils/db/目录下出现了5个人脸数据库：
在这里插入图片描述
当然自己也可以试试非人图片能不能注册

在这里插入图片描述

Only one person in a picture when you sign up
当你注册的时候，照片上只有一个人

注册后，运行下面代码可以进行识别

'''
实验名称：人脸识别
实验平台：01Studio CanMV K230
教程：wiki.01studio.cc
说明：先执行人脸注册代码，再运行本代码
'''from libs.PipeLine import PipeLine, ScopedTiming
from libs.AIBase import AIBase
from libs.AI2D import Ai2d
import os
import ujson
from media.media import *
from time import *
import nncase_runtime as nn
import ulab.numpy as np
import time
import image
import aidemo
import random
import gc
import sys
import math# 自定义人脸检测任务类
class FaceDetApp(AIBase):def __init__(self,kmodel_path,model_input_size,anchors,confidence_threshold=0.25,nms_threshold=0.3,rgb888p_size=[1920,1080],display_size=[1920,1080],debug_mode=0):super().__init__(kmodel_path,model_input_size,rgb888p_size,debug_mode)# kmodel路径self.kmodel_path=kmodel_path# 检测模型输入分辨率self.model_input_size=model_input_size# 置信度阈值self.confidence_threshold=confidence_threshold# nms阈值self.nms_threshold=nms_thresholdself.anchors=anchors# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug模式self.debug_mode=debug_mode# 实例化Ai2d，用于实现模型预处理self.ai2d=Ai2d(debug_mode)# 设置Ai2d的输入输出格式和类型self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT,nn.ai2d_format.NCHW_FMT,np.uint8, np.uint8)# 配置预处理操作，这里使用了pad和resize，Ai2d支持crop/shift/pad/resize/affine，具体代码请打开/sdcard/app/libs/AI2D.py查看def config_preprocess(self,input_image_size=None):with ScopedTiming("set preprocess config",self.debug_mode > 0):# 初始化ai2d预处理配置，默认为sensor给到AI的尺寸，可以通过设置input_image_size自行修改输入尺寸ai2d_input_size=input_image_size if input_image_size else self.rgb888p_size# 计算padding参数，并设置padding预处理self.ai2d.pad(self.get_pad_param(), 0, [104,117,123])# 设置resize预处理self.ai2d.resize(nn.interp_method.tf_bilinear, nn.interp_mode.half_pixel)# 构建预处理流程,参数为预处理输入tensor的shape和预处理输出的tensor的shapeself.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]],[1,3,self.model_input_size[1],self.model_input_size[0]])# 自定义后处理，results是模型输出的array列表，这里使用了aidemo库的face_det_post_process接口def postprocess(self,results):with ScopedTiming("postprocess",self.debug_mode > 0):res = aidemo.face_det_post_process(self.confidence_threshold,self.nms_threshold,self.model_input_size[0],self.anchors,self.rgb888p_size,results)if len(res)==0:return res,reselse:return res[0],res[1]def get_pad_param(self):dst_w = self.model_input_size[0]dst_h = self.model_input_size[1]# 计算最小的缩放比例，等比例缩放ratio_w = dst_w / self.rgb888p_size[0]ratio_h = dst_h / self.rgb888p_size[1]if ratio_w < ratio_h:ratio = ratio_welse:ratio = ratio_hnew_w = (int)(ratio * self.rgb888p_size[0])new_h = (int)(ratio * self.rgb888p_size[1])dw = (dst_w - new_w) / 2dh = (dst_h - new_h) / 2top = (int)(round(0))bottom = (int)(round(dh * 2 + 0.1))left = (int)(round(0))right = (int)(round(dw * 2 - 0.1))return [0,0,0,0,top, bottom, left, right]# 自定义人脸注册任务类
class FaceRegistrationApp(AIBase):def __init__(self,kmodel_path,model_input_size,rgb888p_size=[1920,1080],display_size=[1920,1080],debug_mode=0):super().__init__(kmodel_path,model_input_size,rgb888p_size,debug_mode)# kmodel路径self.kmodel_path=kmodel_path# 检测模型输入分辨率self.model_input_size=model_input_size# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug模式self.debug_mode=debug_mode# 标准5官self.umeyama_args_112 = [38.2946 , 51.6963 ,73.5318 , 51.5014 ,56.0252 , 71.7366 ,41.5493 , 92.3655 ,70.7299 , 92.2041]self.ai2d=Ai2d(debug_mode)self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT,nn.ai2d_format.NCHW_FMT,np.uint8, np.uint8)# 配置预处理操作，这里使用了affine，Ai2d支持crop/shift/pad/resize/affine，具体代码请打开/sdcard/app/libs/AI2D.py查看def config_preprocess(self,landm,input_image_size=None):with ScopedTiming("set preprocess config",self.debug_mode > 0):ai2d_input_size=input_image_size if input_image_size else self.rgb888p_size# 计算affine矩阵，并设置仿射变换预处理affine_matrix = self.get_affine_matrix(landm)self.ai2d.affine(nn.interp_method.cv2_bilinear,0, 0, 127, 1,affine_matrix)# 构建预处理流程,参数为预处理输入tensor的shape和预处理输出的tensor的shapeself.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]],[1,3,self.model_input_size[1],self.model_input_size[0]])# 自定义后处理def postprocess(self,results):with ScopedTiming("postprocess",self.debug_mode > 0):return results[0][0]def svd22(self,a):# svds = [0.0, 0.0]u = [0.0, 0.0, 0.0, 0.0]v = [0.0, 0.0, 0.0, 0.0]s[0] = (math.sqrt((a[0] - a[3]) ** 2 + (a[1] + a[2]) ** 2) + math.sqrt((a[0] + a[3]) ** 2 + (a[1] - a[2]) ** 2)) / 2s[1] = abs(s[0] - math.sqrt((a[0] - a[3]) ** 2 + (a[1] + a[2]) ** 2))v[2] = math.sin((math.atan2(2 * (a[0] * a[1] + a[2] * a[3]), a[0] ** 2 - a[1] ** 2 + a[2] ** 2 - a[3] ** 2)) / 2) if \s[0] > s[1] else 0v[0] = math.sqrt(1 - v[2] ** 2)v[1] = -v[2]v[3] = v[0]u[0] = -(a[0] * v[0] + a[1] * v[2]) / s[0] if s[0] != 0 else 1u[2] = -(a[2] * v[0] + a[3] * v[2]) / s[0] if s[0] != 0 else 0u[1] = (a[0] * v[1] + a[1] * v[3]) / s[1] if s[1] != 0 else -u[2]u[3] = (a[2] * v[1] + a[3] * v[3]) / s[1] if s[1] != 0 else u[0]v[0] = -v[0]v[2] = -v[2]return u, s, vdef image_umeyama_112(self,src):# 使用Umeyama算法计算仿射变换矩阵SRC_NUM = 5SRC_DIM = 2src_mean = [0.0, 0.0]dst_mean = [0.0, 0.0]for i in range(0,SRC_NUM * 2,2):src_mean[0] += src[i]src_mean[1] += src[i + 1]dst_mean[0] += self.umeyama_args_112[i]dst_mean[1] += self.umeyama_args_112[i + 1]src_mean[0] /= SRC_NUMsrc_mean[1] /= SRC_NUMdst_mean[0] /= SRC_NUMdst_mean[1] /= SRC_NUMsrc_demean = [[0.0, 0.0] for _ in range(SRC_NUM)]dst_demean = [[0.0, 0.0] for _ in range(SRC_NUM)]for i in range(SRC_NUM):src_demean[i][0] = src[2 * i] - src_mean[0]src_demean[i][1] = src[2 * i + 1] - src_mean[1]dst_demean[i][0] = self.umeyama_args_112[2 * i] - dst_mean[0]dst_demean[i][1] = self.umeyama_args_112[2 * i + 1] - dst_mean[1]A = [[0.0, 0.0], [0.0, 0.0]]for i in range(SRC_DIM):for k in range(SRC_DIM):for j in range(SRC_NUM):A[i][k] += dst_demean[j][i] * src_demean[j][k]A[i][k] /= SRC_NUMT = [[1, 0, 0], [0, 1, 0], [0, 0, 1]]U, S, V = self.svd22([A[0][0], A[0][1], A[1][0], A[1][1]])T[0][0] = U[0] * V[0] + U[1] * V[2]T[0][1] = U[0] * V[1] + U[1] * V[3]T[1][0] = U[2] * V[0] + U[3] * V[2]T[1][1] = U[2] * V[1] + U[3] * V[3]scale = 1.0src_demean_mean = [0.0, 0.0]src_demean_var = [0.0, 0.0]for i in range(SRC_NUM):src_demean_mean[0] += src_demean[i][0]src_demean_mean[1] += src_demean[i][1]src_demean_mean[0] /= SRC_NUMsrc_demean_mean[1] /= SRC_NUMfor i in range(SRC_NUM):src_demean_var[0] += (src_demean_mean[0] - src_demean[i][0]) * (src_demean_mean[0] - src_demean[i][0])src_demean_var[1] += (src_demean_mean[1] - src_demean[i][1]) * (src_demean_mean[1] - src_demean[i][1])src_demean_var[0] /= SRC_NUMsrc_demean_var[1] /= SRC_NUMscale = 1.0 / (src_demean_var[0] + src_demean_var[1]) * (S[0] + S[1])T[0][2] = dst_mean[0] - scale * (T[0][0] * src_mean[0] + T[0][1] * src_mean[1])T[1][2] = dst_mean[1] - scale * (T[1][0] * src_mean[0] + T[1][1] * src_mean[1])T[0][0] *= scaleT[0][1] *= scaleT[1][0] *= scaleT[1][1] *= scalereturn Tdef get_affine_matrix(self,sparse_points):# 获取affine变换矩阵with ScopedTiming("get_affine_matrix", self.debug_mode > 1):# 使用Umeyama算法计算仿射变换矩阵matrix_dst = self.image_umeyama_112(sparse_points)matrix_dst = [matrix_dst[0][0],matrix_dst[0][1],matrix_dst[0][2],matrix_dst[1][0],matrix_dst[1][1],matrix_dst[1][2]]return matrix_dst# 人脸识别任务类
class FaceRecognition:def __init__(self,face_det_kmodel,face_reg_kmodel,det_input_size,reg_input_size,database_dir,anchors,confidence_threshold=0.25,nms_threshold=0.3,face_recognition_threshold=0.75,rgb888p_size=[1280,720],display_size=[1920,1080],debug_mode=0):# 人脸检测模型路径self.face_det_kmodel=face_det_kmodel# 人脸识别模型路径self.face_reg_kmodel=face_reg_kmodel# 人脸检测模型输入分辨率self.det_input_size=det_input_size# 人脸识别模型输入分辨率self.reg_input_size=reg_input_sizeself.database_dir=database_dir# anchorsself.anchors=anchors# 置信度阈值self.confidence_threshold=confidence_threshold# nms阈值self.nms_threshold=nms_thresholdself.face_recognition_threshold=face_recognition_threshold# sensor给到AI的图像分辨率，宽16字节对齐self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]# 视频输出VO分辨率，宽16字节对齐self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]# debug_mode模式self.debug_mode=debug_modeself.max_register_face = 100                  # 数据库最多人脸个数self.feature_num = 128                        # 人脸识别特征维度self.valid_register_face = 0                  # 已注册人脸数self.db_name= []self.db_data= []self.face_det=FaceDetApp(self.face_det_kmodel,model_input_size=self.det_input_size,anchors=self.anchors,confidence_threshold=self.confidence_threshold,nms_threshold=self.nms_threshold,rgb888p_size=self.rgb888p_size,display_size=self.display_size,debug_mode=0)self.face_reg=FaceRegistrationApp(self.face_reg_kmodel,model_input_size=self.reg_input_size,rgb888p_size=self.rgb888p_size,display_size=self.display_size)self.face_det.config_preprocess()# 人脸数据库初始化self.database_init()# run函数def run(self,input_np):# 执行人脸检测det_boxes,landms=self.face_det.run(input_np)recg_res = []for landm in landms:# 针对每个人脸五官点，推理得到人脸特征，并计算特征在数据库中相似度self.face_reg.config_preprocess(landm)feature=self.face_reg.run(input_np)res = self.database_search(feature)recg_res.append(res)return det_boxes,recg_resdef database_init(self):# 数据初始化，构建数据库人名列表和数据库特征列表with ScopedTiming("database_init", self.debug_mode > 1):db_file_list = os.listdir(self.database_dir)for db_file in db_file_list:if not db_file.endswith('.bin'):continueif self.valid_register_face >= self.max_register_face:breakvalid_index = self.valid_register_facefull_db_file = self.database_dir + db_filewith open(full_db_file, 'rb') as f:data = f.read()feature = np.frombuffer(data, dtype=np.float)self.db_data.append(feature)name = db_file.split('.')[0]self.db_name.append(name)self.valid_register_face += 1def database_reset(self):# 数据库清空with ScopedTiming("database_reset", self.debug_mode > 1):print("database clearing...")self.db_name = []self.db_data = []self.valid_register_face = 0print("database clear Done!")def database_search(self,feature):# 数据库查询with ScopedTiming("database_search", self.debug_mode > 1):v_id = -1v_score_max = 0.0# 将当前人脸特征归一化feature /= np.linalg.norm(feature)# 遍历当前人脸数据库，统计最高得分for i in range(self.valid_register_face):db_feature = self.db_data[i]db_feature /= np.linalg.norm(db_feature)# 计算数据库特征与当前人脸特征相似度v_score = np.dot(feature, db_feature)/2 + 0.5if v_score > v_score_max:v_score_max = v_scorev_id = iif v_id == -1:# 数据库中无人脸return 'unknown'elif v_score_max < self.face_recognition_threshold:# 小于人脸识别阈值，未识别return 'unknown'else:# 识别成功result = 'name: {}, score:{}'.format(self.db_name[v_id],v_score_max)return result# 绘制识别结果def draw_result(self,pl,dets,recg_results):pl.osd_img.clear()if dets:for i,det in enumerate(dets):# （1）画人脸框x1, y1, w, h = map(lambda x: int(round(x, 0)), det[:4])x1 = x1 * self.display_size[0]//self.rgb888p_size[0]y1 = y1 * self.display_size[1]//self.rgb888p_size[1]w =  w * self.display_size[0]//self.rgb888p_size[0]h = h * self.display_size[1]//self.rgb888p_size[1]pl.osd_img.draw_rectangle(x1,y1, w, h, color=(255,0, 0, 255), thickness = 4)# （2）写人脸识别结果recg_text = recg_results[i]pl.osd_img.draw_string_advanced(x1,y1,32,recg_text,color=(255, 255, 0, 0))if __name__=="__main__":# 注意：执行人脸识别任务之前，需要先执行人脸注册任务进行人脸身份注册生成feature数据库# 显示模式，默认"hdmi",可以选择"hdmi"和"lcd"display_mode="lcd"if display_mode=="hdmi":display_size=[1920,1080]else:display_size=[800,480]# 人脸检测模型路径face_det_kmodel_path="/sdcard/app/tests/kmodel/face_detection_320.kmodel"# 人脸识别模型路径face_reg_kmodel_path="/sdcard/app/tests/kmodel/face_recognition.kmodel"# 其它参数anchors_path="/sdcard/app/tests/utils/prior_data_320.bin"database_dir ="/sdcard/app/tests/utils/db/"rgb888p_size=[1920,1080]face_det_input_size=[320,320]face_reg_input_size=[112,112]confidence_threshold=0.5nms_threshold=0.2anchor_len=4200det_dim=4anchors = np.fromfile(anchors_path, dtype=np.float)anchors = anchors.reshape((anchor_len,det_dim))face_recognition_threshold = 0.75        # 人脸识别阈值# 初始化PipeLine，只关注传给AI的图像分辨率，显示的分辨率pl=PipeLine(rgb888p_size=rgb888p_size,display_size=display_size,display_mode=display_mode)pl.create()fr=FaceRecognition(face_det_kmodel_path,face_reg_kmodel_path,det_input_size=face_det_input_size,reg_input_size=face_reg_input_size,database_dir=database_dir,anchors=anchors,confidence_threshold=confidence_threshold,nms_threshold=nms_threshold,face_recognition_threshold=face_recognition_threshold,rgb888p_size=rgb888p_size,display_size=display_size)clock = time.clock()try:while True:os.exitpoint()clock.tick()img=pl.get_frame()                      # 获取当前帧det_boxes,recg_res=fr.run(img)          # 推理当前帧print(det_boxes,recg_res)               # 打印结果fr.draw_result(pl,det_boxes,recg_res)   # 绘制推理结果pl.show_image()                         # 展示推理效果gc.collect()print(clock.fps()) #打印帧率except Exception as e:sys.print_exception(e)finally:fr.face_det.deinit()fr.face_reg.deinit()pl.destroy()
主代码变量说明
det_boxes人脸检测结果
recg_res人脸识别结果

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/142990.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

嵌入式人工智能项目及人工智能应用项目——大合集列表查阅

嵌入式人工智能项目及人工智能应用项目——大合集列表查阅

本文的项目合集列表可能更新不及时&#xff08;会及时更新&#xff09;&#xff0c;可查阅实时更新的链接如下。 嵌入式人工智能及人工智能应用项目合集实时更新链接如下&#xff1a; 阿齐嵌入式人工智能及人工智能应用项目合集 (kdocs.cn)https://www.kdocs.cn/l/cc97tuieys4…
阅读更多...
Python urllib

Python urllib

Python urllib 库用于操作网页 URL&#xff0c;并对网页的内容进行抓取处理。 本文主要介绍 Python3 的 urllib。 urllib 包 包含以下几个模块&#xff1a; urllib.request - 打开和读取 URL。urllib.error - 包含 urllib.request 抛出的异常。urllib.parse - 解析 URL。url…
阅读更多...
心觉：不能成事的根本原因

心觉：不能成事的根本原因

很多人一直都很努力&#xff0c;每天都很忙 每天都学习很多东西&#xff0c;学习各种道&#xff0c;各种方法论 但是许多年过去了依然一事无成 自己的目标没有达成&#xff0c;梦想没有实现 为什么呢 关键是没有开悟 那么什么是开悟呢 现在很多人都在讲开悟 貌似开悟很…
阅读更多...
回收站永久删除的文件还能恢复吗？教你恢复技巧

回收站永久删除的文件还能恢复吗？教你恢复技巧

在数字时代&#xff0c;电脑是我们工作、学习和娱乐的重要工具。然而&#xff0c;随着我们对电脑的频繁使用&#xff0c;误删文件的情况也时有发生。当我们在回收站中不小心永久删除了某个重要文件时&#xff0c;内心可能会充满焦虑和疑惑&#xff1a;这些文件还能恢复吗&#…
阅读更多...
基于springboot+vue实现的智能垃圾分类系统 （源码+L文+ppt）4-063

基于springboot+vue实现的智能垃圾分类系统 （源码+L文+ppt）4-063

摘 要 本论文主要完成不同用户的权限划分&#xff0c;不同用户具有不同权限的操作功能&#xff0c;系统包括用户、物业和管理员模块&#xff0c;主要功能有用户、物业、垃圾站点、垃圾投放、验收信息、积分商城、积分充值、通知物业等管理操作。 关键词&#xff1a;智能垃圾…
阅读更多...
【LLM】中国在 GPT/LLM 大模型上是否已经实现了弯道超车？

【LLM】中国在 GPT/LLM 大模型上是否已经实现了弯道超车？

还是谈一下现状吧。中国的大模型公司与美国的大模型公司其实在数量上可能中国更多一些吧。 美国的 OpenAI&#xff1a;No.1&#xff0c;毫无疑问&#xff01;Google&#xff1a;尽管落了&#xff0c;但是依然是全球第二的实力吧&#xff1f;Meta&#xff1a;开源全靠它家的Ll…
阅读更多...
【代码随想录训练营第42期 Day60打卡 - 图论Part10 - Bellman_ford算法系列运用

【代码随想录训练营第42期 Day60打卡 - 图论Part10 - Bellman_ford算法系列运用

目录 一、Bellman_ford算法的应用 二、题目与题解 题目一&#xff1a;卡码网 94. 城市间货物运输 I 题目链接 题解&#xff1a;队列优化Bellman-Ford算法&#xff08;SPFA&#xff09; 题目二&#xff1a;卡码网 95. 城市间货物运输 II 题目链接 题解&#xff1a; 队列优…
阅读更多...
Untangle电脑上网行为管理软件有哪些?(一口气看完，第一款建议收藏！）

Untangle电脑上网行为管理软件有哪些?(一口气看完，第一款建议收藏！）

控制上网的软件通常被称为上网行为管理软件或上网行为监控软件。 这类软件主要用于管理网络用户的上网行为&#xff0c;帮助企业或组织提升网络使用效率和工作效率&#xff0c;同时最大限度地避免不当上网行为带来的潜在风险和损失。 以下是一些值得推荐的电脑上网行为管理软件…
阅读更多...
【C++】——继承与虚继承

【C++】——继承与虚继承

文章目录 继承继承的概念继承的定义继承类模版基类与派生类的赋值转换继承的作用域派生类的默认成员函数构造函数与析构函数拷贝构造 不能被继承的类继承与友元继承与静态成员多继承与菱形继承 虚继承继承与组合 继承 什么是继承&#xff1f; 继承其实就是胆码复用的一种手段&…
阅读更多...
江科大笔记—OLED显示屏

江科大笔记—OLED显示屏

OLED显示屏 OLED的GND接到负极&#xff0c;OLED的VCC接正极&#xff0c;同时也会接到stm32上的PB6和PB7 SCL接PB8 SDA接PB9 在Hardware文件夹里面放3个文件&#xff1a;OLED.c、OLED.h、OLED_Font.h OLED_Font.h:存的是OLED的字库数据&#xff0c;因OLED是不带字库的&#xf…
阅读更多...
APP测试--含【学车不】项目实战

APP测试--含【学车不】项目实战

本文参考黑马程序员以下课程; 1-002-App应用架构_哔哩哔哩_bilibili 1. APP环境 1.1 app应用系统架构 json是一种轻量级的数据交换格式&#xff0c;采用完全独立于编程语言的文本格式来储存和表示数据 1.2 app 后台开发测试环境 预发布环境&#xff1a; 使用后端的测试代码&a…
阅读更多...
Meta-Learning数学原理

Meta-Learning数学原理

文章目录 什么是元学习元学习的目标元学习的类型数学推导1. 传统机器学习的数学表述2. 元学习的基本思想3. MAML 算法推导3.1 元任务设置3.2 内层优化&#xff1a;任务级别学习3.3 外层优化&#xff1a;元级别学习3.4 元梯度计算3.5 最终更新规则 4. 算法合并5. 理解 MAML 的优…
阅读更多...
钢索缺陷检测系统源码分享

钢索缺陷检测系统源码分享

钢索缺陷检测检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vis…
阅读更多...
在线制作PPT组织架构图！这个AI工具简单又好用！

在线制作PPT组织架构图！这个AI工具简单又好用！

ppt组织架构图如何制作&#xff0c;用哪个软件好&#xff1f; 在现代商业世界中&#xff0c;组织架构图是展示公司结构和层级关系的重要工具&#xff0c;譬如内部沟通或者对外展示等场合下&#xff0c;一个精美且清晰的组织架构图都能有效传达信息&#xff0c;提升企业形象。 …
阅读更多...
高精度加法和减法

高精度加法和减法

高精度加法 在C/C中&#xff0c;我们经常会碰到限定数据范围的情况&#xff0c;我们先来看看常用的int和long long两种数据类型的范围吧。 C标准规定&#xff1a;int占一个机器字长。在32位系统中int占32位&#xff0c;即4个字节&#xff0c;所以int的范围是[-2的31次方&#…
阅读更多...
独立站技能树之建站33项自检清单 1.0丨出海笔记

独立站技能树之建站33项自检清单 1.0丨出海笔记

很多时候大家建好站之后很嗨&#xff0c;但过一会就开始担忧各种纠结我是不是还有什么点没做好&#xff0c;或者我的站漏了什么东西&#xff0c;那么接下来以下这个独立站自检清单能很好的帮到你。其实对于新手我还是建议大家直接用一些模板&#xff0c;因为模板上面基本该有的…
阅读更多...
基于SpringBoot+Vue+MySQL的在线招投标系统

基于SpringBoot+Vue+MySQL的在线招投标系统

系统展示 用户前台界面 管理员后台界面 系统背景 在当今商业环境中&#xff0c;招投标活动是企业获取项目、资源及合作伙伴的重要途径。然而&#xff0c;传统招投标过程往往繁琐复杂&#xff0c;涉及众多文件交换、信息审核与沟通环节&#xff0c;不仅效率低下&#xff0c;还易…
阅读更多...
车市状态喜人，国内海外“两开花”

车市状态喜人，国内海外“两开花”

文/王俣祺 导语&#xff1a;随着中秋假期告一段落&#xff0c;“金九”也正式过半&#xff0c;整体上这个销售旺季的数据可以说十分喜人&#xff0c;各家车企不是发布新车、改款车就是推出了一系列购车权益&#xff0c;充分刺激了消费者的购车热情。再加上政府政策的鼎力支持&a…
阅读更多...
动态线程池实战(一)

动态线程池实战(一)

动态线程池 对项目的认知 为什么需要动态线程池 DynamicTp简介 接入步骤 功能介绍 模块划分 代码结构介绍
阅读更多...
中、美、德、日制造业理念差异

中、美、德、日制造业理念差异

合格的产品依赖稳定可靠的人机料法环&#xff0c;要求减少变量因素&#xff0c;增加稳定因素&#xff0c;避免“熵”增&#xff1b;五个因素中任何一个不可控&#xff0c;批次产品的一致性绝对差&#xff1b; 日本汽车企业&#xff0c;侧重“人”和“环”&#xff0c; 倚重是人…
阅读更多...
最新文章

Copyright @ 2022~2023