(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210116196.5 (22)申请日 2022.02.07 (71)申请人 宜宾学院 地址 644000 四川省宜宾市翠屏区酒圣路8 号 (72)发明人 李朝荣　 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06F 17/16(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01) (54)发明名称 深度网络与Gabor高斯特征融合的人脸识别 方法 (57)摘要 本发明方法针 现有深度网络的不足， 本发 明 设计了一种有效的人脸识别方法， 该方法将深度 网络的高级特征和Gabor小波的低级特征进行融 合。 对于深度网络特征， 采用了SENet网络模型， 考虑了SENet网络的低层到高层Haar均值特征， 分别进行PCA压缩； 对于Gabor小波特征， 将高斯 分布拟合后嵌入到欧式空间， 然后用PCA进行特 征压缩。 将深度网络特征和Gabor高斯特征融合 的识别方式能适应戴口罩、 墨镜等遮挡和强烈的 光照不均 问题， 显著提升人脸识别准确率， 满足 复杂环境下的人脸识别需求。 权利要求书2页 说明书4页 附图3页 CN 114463818 A 2022.05.10 CN 114463818 A 1.本发明设计了一种人脸识别方法， 尤其是涉及将深度网络特征与Gabor高斯特征融 合的人脸识别方法， 其特 征在于它包括以下步骤： 步骤1， 训练SENet网络， 获得预训练SENet模型； 训练SENet需要在大型人脸数据库下进 行， 比如VG GFace2人脸数据库； 步骤2准备注册人脸数据库， 该步骤可以从任何光学相机录入人脸图像， 并用， 该数据 库也称为训练数据库； 步骤3模型 学习， 根据训练数据库， 分别执 行下面的计算： 步骤3.1计算深度特征， 见说明书附图1； 深度网络特征由三部分组成： 第一部分特征， 将Conv1系列和Conv2系列的Haar多尺度均值特征拼接； 第二部分特征， 将Conv3系列和 Conv4系列的Haar多尺度均值特征拼接； 第三部分特征， 将Conv5系列的Haar多尺度均值特 征和尾部的输出的2048维度拼接； 计算Haar多尺度均值特征流程见说明书附图2， 卷积输出的特征是三维矩阵N ×P×P， 其中P是矩阵宽度， N是矩阵个数， 不同卷积层的输出特征N与P是不同的； 类似于Haar小波分 解， 首先计算第一尺度均值特征， 即分别计算N个矩阵的平均值得到一个N 维特征向量； 对于 矩阵M， 其元 素表示为Mi,j， 该矩阵的平均值 为： 然后计算第二尺度均值特征， 将相邻两个矩阵的平均矩阵， 假定Mj和Mj+1是两个相邻矩 阵， 则两个矩阵的平均结果 也是一矩阵， 其元 素为Mi,j， 表示为： 然后再利用公式(1)计算本尺度的均值特征； 再依次计算第三尺度和第 四尺度的均值 特征； 将三部分特征保存到临时数据库， 称为人脸特征数据库1， 然后分别用独立主成分分析 (PCA)对三部分特征进行压缩， 该步骤会产生PCA压缩矩阵H1， H2， H3； 最后将三部分压缩后的 特征进行拼接得到深度特 征向量， 记为F1； 步骤3.2计算Gabor高斯特 征： 输入图像首先要分成大小相等的若干块， 本发明分为10 ×10个局部块， 然后在每个局 部块上计算 “Gabor高斯局部特征 ”， 将这些局部特征拼接为一个高维特征向量， 并保存到临 时数据库， 称为人脸特征数据库2， 然后用PCA压缩便得到Gabor高斯特征， 该步骤会产生PCA 压缩矩阵G， 见说明书附图4； Gabor高斯局部特征是在局部块上进行的， 见说明书附图3， 即将局部块进行Gabor小波 进行5尺度8方 向分解， 得到40个Gab or子带， 假定图像大小是m ×m， 则每个Gab or子带也是m ×m； 将40个Gabor子带构造成一个40 ×m2的观察矩阵， 该矩阵每一行代表一个变量， 然后用 最大似然法来计算观察矩阵的高斯模型， 得到高斯模型 的协方差矩阵参数C和均值向量参 数 μ； 将高斯模型嵌入到对数欧氏空间， 即： 权　利　要　求　书 1/2 页 2 CN 114463818 A 2E是矩阵， 将其拉直便是Gab or高斯局部特征 向量， 记为F2； 这里拉直是指将矩阵里面的 所有元素按照从上到下、 从左到右的顺序存放 为一个向量； 步骤4， 计算 最终人脸特 征， 见说明书附图5； 将步骤3.1计算的深度特征向量F1和步骤3.2计算的Gabor高斯局部特征向量拼接,便 得到最终的人脸特 征， 即： F＝[F1,F2]                        (4) 步骤5， 人脸识别， 用步骤2、 步骤3和步骤4计算所有训练数据库中所有人的最终的人脸 特征， 并保存到永久数据库， 称为人脸特征数据库3； 当输入人脸图像I时， 用MTCNN检测人 脸， 然后按照步骤3.1计算Haar多尺度特征并用PCA压缩矩阵H1， H2， H3进行压缩， 得到深度特 征； 同时用3.2步骤计算Gabor高斯局部特征， 然后用PCA压缩矩阵G乘以拼接的高维特征向 量， 得到Gabor高斯特征， 最后用步骤4得到最终的人脸 特征Fp； 将人脸图像 I的特征Fp与人脸 特征数据库3中的人脸特征进 行欧氏距离比较， 当欧氏距离小于某个阈值则表 示匹配成功， 达到识别效果。权　利　要　求　书 2/2 页 3 CN 114463818 A 3