(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210202974.2 (22)申请日 2022.03.02 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 梁久祯　赫焕杰　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 杨闯 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/772(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于 人脸重构和Gabor遮挡字典的人脸 识别方法 (57)摘要 本发明涉及人脸识别技术领域， 尤其涉及一 种基于人脸重构和Gabor遮挡字典的人脸识别方 法， 包括S1、 首先进行多角度人脸重构， 经过 mtcnn人脸对齐和裁剪； S2、 引入遮挡字典Ae与训 练数据A共同对测试样本编码； S3、 增强字典对样 本的表达能力； S4、 用求解出的字典D重构测试样 本； S5、 重构误差矩阵进行样本分类； S6、 由重构 误差得到测试样本的标签分类； 本发 明一方面重 构多角度人脸， 弥补姿态遮挡人脸中的不可见部 分； 另一方面将Gabor遮挡字典与传统人脸识别 过程相结合， 利用Gabor遮挡字典重构因物理遮 挡导致的噪声特征， 增加对遮挡人脸识别的精 度。 权利要求书3页 说明书7页 附图3页 CN 114627531 A 2022.06.14 CN 114627531 A 1.一种基于人脸重构和Gabor遮挡字典的人脸识别方法， 其特 征在于， 包括以下步骤： S1、 图像处理： 首先进行多角度人脸重构， 每个个体各个角度的人脸按照角度分类， 分 类后的数据划分训练集和测试集， 训练多角度人脸重构网络， 生成正面人脸信息， 再经过 mtcnn人脸对齐和裁 剪； S2、 求解Gabor遮挡字典： 基于SRC， 将测试样本y分为完整的样本与噪声或遮挡信息样本， 引入遮挡字典Ae与训练 数据A共同对测试样本编码， 表示 为： y＝Ax0+e0＝[A,Ae][x0,xe]T                          (1) 其中， e0表示样本噪声的误差向量， x0、 xe分别是与训练数据A、 遮挡字典Ae对应的稀疏矩 阵， Ae为单位矩阵； 提取gabor特征χ(y)、 χ(Ae)， χ(A)， 求得的Gabor特征测试样本 χ(y)， 对应的Gabor遮挡字 典χ(Ae)和训练样本 χ(A)的重构如下： χ(y)＝[ χ(A), χ(Ae)][x0,xe]T                         (2) 其中， x0、 xe分别是与训练数据A、 遮挡字典Ae对应的稀疏矩阵； 对 χ(Ae)进行压缩， 对提取的Gabor特 征进行下采样， 并对Gabor遮挡字典进行优化； S3、 求解训练数据字典： 增强字典对样本的表达能力， 保证字典的全局重构性、 局部重 构性、 重构的唯一性， 同时提取更深层次的特征， 结合Fisher判别准则与对字典判别力的定 义， 重定义字典的求 解公式： 其中， D表示全局字典， Di表示第i类局部字典， χ(Ai)表示第i类训练样本， Xi表示χ(Ai)在D上的表示矩阵， 表示χ (Ai)在Di上的表示矩阵， 表示χ(Ai)在Dj上的表示矩阵， X表示χ(A)在D上的表示矩阵， 表示类内距离， 表示 类间距离， mi是Xi的均值向量， m是 X的均值向量， ni是第i类训练样本的数量； 根据迭代投影法求 解矩阵X， 根据MFL中的求 解算法， 求解出字典D； S4、 求解稀疏矩阵： 利用SRC人脸分类思想， 用求解出的字典D重构测试样本， 求解测试 样本在字典中的稀疏编码： 其中， α 、 βΓ为稀疏矩阵， D为全局字典、 Γ为压缩字典； S5、 计算重构误差： 根据字典D和Gabor遮挡字典Γ对应的稀疏编码矩阵重构测试样本， 重构误差矩阵进行样本分类， 重构误差矩阵公式为： 其中， α 、 βΓ的近似解 用于求解重构误差ei；权　利　要　求　书 1/3 页 2 CN 114627531 A 2S6、 标签分类： 由重构误差得到测试样本的标签分类： identify(y)＝arg  mini{ei}                    (7) 其中， identify(y)为重构测试样本最小误差对应的类别。 2.根据权利要求1所述的基于人脸重构和Gabor遮挡字典的人脸识别方法， 其特征在 于， 所述Gabor遮挡字典χ(Ae)的公式如下： 其中， Γ表示压缩后的字典， Z是 χ(Ae)在字典Γ上的表示矩阵。 3.根据权利要求1所述的基于人脸重构和Gabor遮挡字典的人脸识别方法， 所述多角度 人脸重构包括如下步骤： S11、 数据预处理： 对人脸数据集中个体的每个图像进行人脸对齐， 调整图像中的人脸 位置， 舍弃 无用的背景信息； S12、 训练网络设计： 多角度人脸重构网络由一个生成器和一个判别器组成； 生成器输 入和输出的图片w ×h×c＝128×128×3， 经过四层进行 下采样和上采样卷积网络； S13、 损失函数设计： 整个网络训练过程中， 判别网络、 生成网络联合训练最小化两个网 络损失， LD为D网络的总损失函数、 LG为G网络的总损失函数， 具体设计如下： 其中， Ladv为对抗损失、 Lrlbe为标签损失、 Ldide为身份损失、 Lflbe为标签损失、 Lgide为身份 损失、 Lcon为共循环一 致性损失、 Lsym为对称损失。 4.根据权利要求3所述的基于人脸重构和Gabor遮挡字典的人脸识别方法， 其特征在 于， 所述Ladv的定义如下： Ladv＝Ex[logDdis(x)]+Ex,l′[1‑log(Ddis(G(x,l′)))]         (9) 其中， 输入图像x与其对应的标签l组成图片对(x,l)， l ′是生成器训练的目标标签， 从 而生成器训练目标为G(x,l ′)→y； G(x,l′)→y表示输入侧面图片x和目标正面人脸的标签 l′,最终生成正 面人脸y， Ddis为图片真假判别标签的概 率分布。 5.根据权利要求3所述的基于人脸重构和Gabor遮挡字典的人脸识别方法， 其特征在 于， 所述Lrlbe的定义如下： Lrlbe＝Ex,l[‑logDlbe(l|x)]                         (10) 其中， Ddis为图片域标签的概 率分布； 域标签损失加入到训练生成器的损失函数中， 所述 Lflbe的定义如下： Lflbe＝Ex,l′[‑logDlbe(l′|G(x,l′))]                      (11) 每一张图片都有与之对应的域标签， 使得只用一个生成器的同时， 保证生成图像的多 样性， 与身份损失相结合， 保证 生成图像的唯一性， 保 持身份特征， 所述Lgide和所述Ldide的具 体定义分别为： Lgide＝‑dist(Dfea(xF)‑Dfea(G(xP,l0)))+dist(Dfea(xF)‑Dfea(xP))        (12) Ldide＝dist(Dfea(xF)‑Dfea(G(xP,l0)))                    (13) 其中， xF、 xP表示同一个人的正面、 非正面图像， l0表示正面图像 的域标签， dist表示求权　利　要　求　书 2/3 页 3 CN 114627531 A 3