(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025481.2 (22)申请日 2022.08.25 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市杭州经济技 术 开发区白杨街道 2号大街1 158号 (72)发明人 史廷春　杨鹏　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/04(2011.01) G06T 3/00(2006.01) G06V 40/16(2022.01) (54)发明名称 基于RGB图片的人脸 三维重建方法及系统 (57)摘要 本发明公开了一种基于RGB图片的人脸三维 重建方法及系统， 本发明方法包括如下步骤： 步 骤一： 获取人脸RGB图像； 步骤二： 对人脸图像进 行定位， 并算出人脸的数个关键点， 裁切图片； 步 骤三： 引入巴塞尔参数化人脸模型； 步骤四： 将三 维的人脸投影至二维平面； 步骤五： 进行投影归 一化特征编码； 步骤六： 引入神经网络选择的损 失函数； 步骤七： 图像通过反向传递更新网络参 数， 得到输 出的人脸参数图像； 步骤八： 通过UV纹 理图转换， 根据巴塞尔人脸参数模 型的纹理向量 映射到二维空间； 步骤九： 将UV纹理图映射到三 维人脸形状获得人脸的三维模型。 通过本发明人 脸三维重建技术处理的人脸UV图明显减少了细 节缺失。 权利要求书3页 说明书6页 附图2页 CN 115393513 A 2022.11.25 CN 115393513 A 1.基于RGB图片的人脸 三维重建方法， 其特 征是包括如下步骤： 步骤一： 获取 人脸RGB图像； 步骤二： 对人脸图像进行定位， 并算出 人脸的数个关键点， 裁切图片； 步骤三： 引入巴塞尔参数化人脸模型； 步骤四： 将三维的人脸投影至二维平面； 步骤五： 进行投影归一 化特征编码； 步骤六： 引入神经网络 选择的损失函数； 步骤七： 图像通过反向传递更新网络参数， 得到 输出的人脸 参数图像； 步骤八： 通过UV纹 理图转换， 根据巴塞尔人脸 参数模型的纹 理向量映射到二维空间； 步骤九： 将UV纹 理图映射到三维人脸形状获得 人脸的三维模型。 2.如权利要求1所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤二具体如下： 使 用Dlib算法对人脸图像进行定位， 并计算出 人脸的68个关键点， 对图片进行裁切。 3.如权利要求1或2所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤三具体如 下： 引入巴塞尔参数化人脸模型如下： 其中， 表示巴塞尔人脸模型的平均脸， Aid为人脸模型的PCA主成分分析得到的特征向 量， aid为人脸的形状系数， Aexp表示巴塞尔人脸模型的表情基； 形状系数表征了人脸的形状， 该系数与特征向量Aidaid共同构建出人脸的形状； 而表情系数与对应的特征向量相乘 Aexpaexp共同表征了人脸的表情。 4.如权利要求3所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤四具体如下： 利 用弱透视投影关系将三维人脸投影至二维平面： V2d＝f×Pr×R×S+t2d  (2) 其中， V2d表示投影方程， f为人脸的尺度变换关系， Pr为投影矩阵， R表示旋转矩阵， S表 示巴塞尔人脸模型， t2d表示为平移矩阵； 基于式(2)得到 三维的巴塞尔人脸在二维平面的投 影表示为： T＝[f,R,aid,aexp,t2d]T  (3) 其中， T是三维人脸形状的基本参数； f为人脸的尺度变换关系， R表示旋转矩阵， t2d表示 为平移矩阵， aid为人脸的形状系数， aexp为人脸的表情系数。 5.如权利要求4所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤五具体如下： 进 行投影归一 化特征编码， 首 先将参数化人脸的x,y,z信息归一 化到(0， 1)范围内 其中， d代表三维人脸的x,y,z参数信息， NCCd为归一化后的顶点像素值， 通过Z ‑buffer 渲染获得施加身份、 表情、 姿态参 数的三维 投影渲染图， 包含参数[pitch,yall,roll,f,t2d, aid,aexo]， 其中， f为人脸的尺度变换关系， [pitch,yall,roll]表示旋转矩阵， t2d表示为平 移矩阵， aid为人脸的形状系数， aexp为人脸的表情系数。 6.如权利要求5所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤六具体如下： 引 入神经网络 选择的加权迭代 距离迭代损失函数：权　利　要　求　书 1/3 页 2 CN 115393513 A 2EWPDC＝(Δp‑(pg‑p0))TW(Δp‑(pg‑p0))  (5) 其中， 对加权参数矩阵的求 解如下： W＝diag(w1,w2,w3,......wp)  (6) pd(i)＝(pg 1， ....pg i‑1， (p0+Δp),pg i+1,....pg p)  (8) pd(i)＝(pg 1， ....pg i‑1， (p0+Δp),pg i+1,....pg p)为第二个分支网络输入的是预处理后 的RGB彩色人脸图片； W代表参数权重向量的对角阵， wi代表每个参数的权重， pg代表训练集参数中的真实值， pg i‑1表示神经网络更新的参数， 初始参数为p0+Δp， ∑i 为参数加权之和。 7.如权利要求6所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤七具体如下： 使 用卷积神经网络MobileNetV3回归 人脸参数,输入 单张图像通过反向传递更新网络参数， 得 到输出的人脸 参数图像。 8.如权利 要求7所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤八具体如下： UV 纹理图转换， 根据巴塞尔人脸 参数模型的纹 理向量映射到二维空间： P(x,y)＝f(S(r,g,b) )  (9) 其中， P(x,y)表示纹理向量 映射到二维空间的图像,S(r,g,b)为巴塞尔的人脸纹理向 量， f(S(r,g,b))代表相应的映射关系； 相应的RGB人脸图片和与之对应的P(x,y)作为输入， 其中涉及的损失函数为 面部加权距离损失函数： 其中， 代表预测值， w(x,y)表示的对脸部 的UV图人为的加权值， 其中， 眼睛部分 加权值为4， 面部区域 为3， 脖子为2， 嘴唇为1， 去掉 其余部位对网络的影响； 回归之后得到相应UV纹 理图。 9.如权利要求8所述基于RGB图片的人脸三维重建方法， 其特征是， 步骤九具体如下： 带 有约束条件的UV纹理 图优化， 根据UV纹理 图的中心点， 耳廓边缘， 找到人脸的中间线， 通过 对比左右人脸的一致性找到缺失的地点； 在耳廓边缘存在缺 失则选取最近的像素点作为基 点， 进行补充。 10.基于RGB图片的人脸 三维重建系统， 其特 征是包括如下模块： 图像获取模块： 获取 人脸RGB图像； 定位模块： 对人脸图像进行定位， 并算出 人脸的数个关键点， 裁切图片； 人脸模型引入 模块： 引入巴塞尔参数化人脸模型； 投影模块： 将三维的人脸投影至二维平面； 特征编码模块： 进行投影归一 化特征编码； 损失函数引入 模块： 引入神经网络 选择的损失函数； 网络参数 更新模块： 图像通过反向传递更新网络参数， 得到 输出的人脸 参数图像； UV纹理图转换模块： 通过UV纹理图转换， 根据巴塞尔人脸参数模型的纹理向量映射到权　利　要　求　书 2/3 页 3 CN 115393513 A 3