(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038834.2 (22)申请日 2022.08.29 (71)申请人 广东工业大 学 地址 510060 广东省广州市东 风东路729号 (72)发明人 罗玉　杨超林　凌捷　 (74)专利代理 机构 北京清控智云知识产权代理 事务所 (特殊普通合伙) 11919 专利代理师 管士涛 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06V 40/16(2022.01) (54)发明名称 3D密集人脸对齐模型构建方法、 系统和可读 存储介质 (57)摘要 本发明公开的一种3D密集人脸对齐模型构 建方法、 系统和可读存储介质， 其中方法包括： 对 人脸数据集中的人脸图像进行预处理得到人脸 变形信息； 建立多尺度双重注 意力基本块和相似 信息增强模块， 以利用所述人脸变形信息建立3D 人脸回归模型， 其中， 所述3D人脸回归模型至少 包括所述多尺度双重注意力基本块 以及所述相 似信息增强模块； 利用预设的损失函数监督训练 所述3D人脸回归模型以得到所述3D密集人脸对 齐模型。 本发 明基于拟合能力强大的深度学习技 术， 利用人脸变形信息增强的技术， 为进一步提 升3D密集人脸对齐任务精度提供了一种端到端 训练的高效模 型， 能够利用人脸的变形信息增强 输入图像中人脸对应的3D人脸， 得到 更准确的3D 密集人脸对齐的模型框架。 权利要求书2页 说明书15页 附图3页 CN 115375850 A 2022.11.22 CN 115375850 A 1.一种3D密集人脸对齐模型构建方法， 其特 征在于， 包括以下步骤： 对人脸数据集中的人脸图像进行 预处理得到人脸变形信息； 建立多尺度双重注意力基本块和相似信 息增强模块， 以利用所述人脸变形信 息建立3D 人脸回归模型， 其中， 所述3D人脸回归模型至少包括所述多尺度双重注意力基本块以及所 述相似信息增强模块； 利用预设的损失函数监 督训练所述3D人脸回归 模型以得到所述3D密集人脸对齐模型。 2.根据权利要求1所述的一种3D密集人脸对齐模型构建方法， 其特征在于， 所述对人脸 数据集中的人脸图像进行 预处理得到人脸变形信息， 具体包括： 根据人脸特征点的位置信 息对所述人脸图像进行裁剪， 以将所述人脸图像转换为统一 尺寸； 基于所述人脸数据集中的目标参数计算并保存人脸三维顶点信息到UV贴图中得到UV 位置贴图； 基于所述人脸数据集中的平均人脸模型根据 所述目标参数进行投影变换， 以得到投影 变换后的所述人脸变形信息， 并将投影 变换后的所述人脸变形信息以UV贴图形式保存。 3.根据权利要求2所述的一种3D密集人脸对齐模型构建方法， 其特征在于， 将所述UV位 置贴图与 投影变换后的所述平均人脸模型做差值运算以获取投影变换后的所述人脸变形 信息， 具体公式如下： 其中， r_D表示经过投影变换后的所述人脸变形信息， F表示所述人脸三维顶点集合， f 是缩放比例因子， R和t是所述人脸数据集中经过所述目标参数计算得到的旋转矩阵和平移 向量， 是所述平均人脸模型 上的顶点 集合， D是所述人脸图像中人脸形状的变形信息 。 4.根据权利要求3所述的一种3D密集人脸对齐模型构建方法， 其特征在于， 所述3D人脸 信息回归模型由两个并行的Enco der‑Decoder结构的网络构成， 其中， 所述Encoder网络结 构由所述多尺度双重注意力基本块构成， 所述Decoder网络结构由六层标准转置卷积块构 成， 其中， 所述标准转置卷积块由转置卷积加上BN归一化构成， 两个并行网络中的第五层所 述标准转置卷积块的输出解码特 征图作为所述相似信息增强模块的输入数据。 5.根据权利要求4所述的一种3D密集人脸对齐模型构建方法， 其特征在于， 所述建立多 尺度双重注意力基本块和相似信息增强模块， 具体包括： 所述多尺度双重注意力基本块由1 ×1卷积块， 3 ×3卷积块， 5 ×5卷积块， SE通道注意力 模块以及SGE空间分组注意力模块组合而成； 将投影变换后的所述人脸变形信息以UV贴图形式保存后， r_D表示增强信息特征贴图， F表示待增强3D人脸特 征贴图； 建立所述相似信息增强模块的步骤 包括： 将所述增强信 息特征贴图以及所述待增强3D人脸特征贴图相乘求得内积， 将内积结果 送入到Sigmo id激活模块得到相似性 概率分布s'； 求得相似性概率分布s'与待增强3D人脸特征贴图F的内积以得到待增强3D人脸特征贴 图F上的相似信息点， 将所述相似信息点与待增强3D人脸特征贴图F相加以完成所述相似信 息增强模块的建立， 具体公式如下：权　利　要　求　书 1/2 页 2 CN 115375850 A 2s'＝Sigmo id(F·r_D)； F＝F+(F·s')。 6.根据权利要求4所述的一种3D密集人脸对齐模型构建方法， 其特征在于， 所述利用预 设的损失函数监 督训练所述3D人脸回归 模型以得到所述3D密集人脸对齐模型， 具体包括： 基于所述人脸 三维顶点信息生成网络训练的监 督数据； 利用损失函数LF监督3D人脸 分支网络的回归结果， 利用损失函数Lr_D监督人脸变形信息 分支网络的回归结果； 利用损失函数Llrr来监督3D人脸在人脸对齐任务上的对齐结果； 监督训练所述3D人脸回归模型以得到所述3D密集人脸对齐模型 的所述损失函数Ltotal 计算式如下： Ltotal＝ωFLF+ωr_DLr_D+ωlrrLlrr， 其中， ωF、 ωr_D以及ωlrr为对应的损失因子 。 7.一种3D密集人脸对齐模型构建系统， 其特征在于， 包括存储器和处理器， 所述存储器 中包括3D密集人脸对齐模 型构建方法程序， 所述3D密集人脸对齐模 型构建方法程序被所述 处理器执行时实现如下步骤： 对人脸数据集中的人脸图像进行 预处理得到人脸变形信息； 建立多尺度双重注意力基本块和相似信 息增强模块， 以利用所述人脸变形信 息建立3D 人脸回归模型， 其中， 所述3D人脸回归模型至少包括所述多尺度双重注意力基本块以及所 述相似信息增强模块； 利用预设的损失函数训练所述3D人脸回归 模型以得到所述3D密集人脸对齐模型。 8.根据权利要求7所述的一种3D密集人脸对齐模型构建系统， 其特征在于， 所述对人脸 数据集中的人脸图像进行 预处理得到人脸变形信息， 具体包括： 根据人脸特征点的位置信 息对所述人脸图像进行裁剪， 以将所述人脸图像转换为统一 尺寸； 基于所述人脸数据集中的目标参数计算并保存人脸三维顶点信息到UV贴图中得到UV 位置贴图； 基于所述人脸数据集中的平均人脸模型根据 所述目标参数进行投影变换， 以得到投影 变换后的所述人脸变形信息， 并将投影 变换后的所述人脸变形信息以UV贴图形式保存。 9.根据权利要求8所述的一种3D密集人脸对齐模型构建系统， 其特征在于， 将所述UV位 置贴图与 投影变换后的所述平均人脸模型做差值运算以获取投影变换后的所述人脸变形 信息， 具体公式如下： 其中， r_D表示经过投影变换后的所述人脸变形信息， F表示所述人脸三维顶点集合， f 是缩放比例因子， R和t是所述人脸数据集中经过所述目标参数计算得到的旋转矩阵和平移 向量， 是所述平均人脸模型 上的顶点 集合， D是所述人脸图像中人脸形状的变形信息 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包括一种3D密 集人脸对齐模型构建方法程序， 所述3D密集人脸对齐模型构建方法程序被处理器执行时， 实现如权利要求1至 6中任一项所述的一种3D密集人脸对齐模型构建方法的步骤。权　利　要　求　书 2/2 页 3 CN 115375850 A 3