(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211042405.2 (22)申请日 2022.08.29 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 刘达　齐勇刚　王尤嘉　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 薛海波 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/02(2011.01) G06T 15/50(2011.01) G06T 15/20(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于素描草图的人脸三维重建模型训练方 法、 重建方法及装置 (57)摘要 本发明提供一种基于素描草图的人脸三维 重建模型训练方法、 重建方法及装置： 获取第一 训练数据集； 获取初始神经网络模型， 该模型包 括二维风格转换模块和三维重建模块； 将各样本 中素描草图输入二维风格转换模块， 得到对应的 真实人脸图像； 将真实人脸图像输入三维重建模 块， 通过多个光度学编码器处理得到对应的多个 光度学分量， 由各光度学分量合成素描草图对应 的三维人脸； 采用第一训练数据集对模 型进行训 练， 将各光度学分量输入神经渲染器以得到渲染 图像， 并定制多种渲染图像与真实人脸图像的损 失， 利用联合损失对各光度学编码器的参数迭 代， 最终得到基于素描草图的人脸三维重建模 型， 实现了 基于素描草图人脸的三维重建。 权利要求书3页 说明书14页 附图3页 CN 115457197 A 2022.12.09 CN 115457197 A 1.一种基于素描草图的人脸 三维重建模型训练方法， 其特 征在于， 该 方法包括： 获取第一训练数据集， 所述第一训练数据集中每 个样本包 含一个素描草图； 获取初始神经网络模型， 所述初始神经网络包括二维风格转换模块和三维重建模块， 所述二维风格转换模块为预训练的图像编码器， 所述三维重建模块包括深度图编码器、 光 反照图编码器、 光照向量编码器和视角向量编码器； 所述初始神经网络模型将每个样本中 的素描草图输入所述图像编码器， 得到对应的二维的真实人脸图像； 将所述真实人脸图像 输入所述三维重建模块， 通过所述深度图编码器处理得到深度图， 通过所述光反照图编码 器处理得到光反照图， 通过所述光照向量编码器处理得到光照向量， 通过所述视角向量编 码器处理得到视角向量， 根据所述深度图、 所述光反照图、 所述光照向量以及所述视角向量 重建得到输入素描草图对应的三维人脸； 其中， 所述真实人脸图像为由所述图像编码器生 成的真实场景下 的人脸图像； 所述深度图还包括深度图翻转图， 所述光反照图还包括光反 照图翻转图； 采用所述第一训练数据集对所述初始神经网络进行训练， 在训练过程中将所述深度 图、 所述光反照图、 所述光照向量和所述视角向量输入神经渲染器得到二 维的渲染图像， 构 建所述渲染 图像与所述真实人脸图像之间的光度损失、 感知损失和骰子损失， 根据所述光 度损失、 所述感知损失和所述骰子损失构建联合损失， 利用所述联合损失对所述深度图编 码器、 所述光反照图编码 器、 所述光照向量编 码器和所述视角向量编 码器的参数进 行迭代， 最终得到基于素描草图的人脸 三维重建模型； 其中， 所述 渲染图像还 包括渲染图像翻转图。 2.根据权利要求1所述的基于素描草图的人脸三维重建模型训练方法， 其特征在于， 所 述图像编码器采用第二训练数据集对CycleGAN网络模型进行训练得到； 其中， 所述第二训 练数据集中每 个样本包括 一个素描草图和一个该 素描草图对应的真实人脸图像。 3.根据权利要求1所述的基于素描草图的人脸 三维重建模型训练方法， 其特 征在于， 所述深度图编码器和所述光反照图编码器均包括依次连接的5个降采样卷积层和5个 上采样反卷积层， 其中每一个卷积层或反卷积层采用的激活函数为 LeakyReLU函数； 所述光照向量编码器和所述视角向量编码器均包括依次连接的5个降采样卷积层， 其 中每一个卷积层采用的激活函数为ReLU函数。 4.根据权利要求1所述的基于素描草图的人脸三维重建模型训练方法， 其特征在于， 根 据所述深度图、 所述光反照图、 所述光照向量以及所述视角向量重建得到输入素描草图对 应的三维人脸， 包括： 根据所述深度图得到三维人脸的顶点分布矩阵， 根据所述光反照图、 所述光照向量和 所述视角向量得到三维人脸的正 面视角法向量分布 矩阵； 根据所述顶点分布矩阵处理得到组成三维人脸的顶点元素、 纹理元素和面元素； 根据 所述正面视角法向量分布 矩阵处理得到组成三维人脸的法向量元 素； 将所述顶点元素、 所述纹理元素、 所述面元素和所述法向量元素的字符串组按照设定 格式写入OBJ文件， 以得到 重建后的三维人脸。 5.根据权利要求1所述的基于素描草图的人脸三维重建模型训练方法， 其特征在于， 所 述渲染图像的生成表达式为： 权　利　要　求　书 1/3 页 2 CN 115457197 A 2其中， 是所述渲染图像； A是光反照图； D是深度图； L是光照向量； ω视角向量； Π( ·) 表示重投影功能的处 理； Λ(·)表示光照模拟函数的处 理； 所述渲染图像翻转图的生成表达式为： 其中， 当满足A'＝fl ip(A)且D'＝fl ip(D)时， 等式 成立； 是所述渲染图像翻转图； A ′是光反照图翻转图； D ′是深度图翻转图； L是光照向量； ω 视角向量； Π( ·)表示重投影功能的处理； Λ( ·)表示光照模拟函数的处理； A是光反照图； D是深度图； fl ip(·)表示翻转 函数的处 理。 6.根据权利要求5所述的基于素描草图的人脸三维重建模型训练方法， 其特征在于， 所 述光度损失计算式为： 其中， 和 的计算式为： Φ是所述初始神经 网络模型的映射函数； λ1和 λ2是光度损失的权重因子； I ′是所述真实 人脸图像； 是所述渲染图像； 是所述渲染图像翻转图； σ 是所述真实人脸图像和所述渲染 图之间的对称性置信度； σ ′是所述真实人脸图像和所述渲染图翻转图之间的对称性置信 度； 表示所述渲染图像和所述真实人脸图像之间的光度损失； 表示 所述渲染图像翻转图和所述真实人脸图像之间的光度损失； Ω表示所述真实人脸图像所构 成的二维平面； 表示所述渲染图像和所述真实人脸图像在(u， v)位置像素强度 的L1距离； 表示所述渲染图像翻转图和所述真实人脸图像在(u， v)位置像素强 度的L1距离 。 7.根据权利要求6所述的基于素描草图的人脸三维重建模型训练方法， 其特征在于， 所 述感知损失计算式为： 其中， 和 的计算式为： Φ是所述初始神经 网络模型的映射函数； λ3和 λ4是感知损失的权重因子； I ′是所述真实 人脸图像； 是所述渲染图像； 是所述渲染图像翻转图； σ 是所述真实人脸图像和所述渲染 图之间的对称性置信度； σ ′是所述真实人脸图像和所述渲染图翻转图之间的对称性置信权　利　要　求　书 2/3 页 3 CN 115457197 A 3