(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211065671.7 (22)申请日 2022.08.31 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 范锡睿　赵亚飞　郭紫垣　张世昌　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06T 17/00(2006.01) G06T 13/40(2011.01) G06T 7/30(2017.01) G06T 7/80(2017.01) (54)发明名称 用于重建三维人脸图像的方法、 装置、 电子 设备和介质 (57)摘要 本公开提供了一种用于重建三维人脸图像 的方法， 涉及图像处理技术领域， 尤其涉及虚拟 数字人、 增强现实、 虚拟现实、 混合现实、 扩展现 实、 元宇宙领域。 实现方案为： 获取人脸的视频数 据， 包括人脸的多个帧， 多个帧中每一帧的每个 像素均包括深度信息； 对于多个帧中的每一帧： 基于该帧中每个像素的深度信息， 确定该帧对应 的单帧三维点云； 并且从该帧的RGB图像中提取 多个图像关键点； 基于多个帧中每一帧对应的单 帧三维点云， 生成三维人脸点云； 以及基于多个 帧中的至少两帧中每一帧的多个图像 关键点， 对 三维人脸点 云进行优化， 以得到目标三维人脸图 像。 权利要求书3页 说明书11页 附图4页 CN 115239888 A 2022.10.25 CN 115239888 A 1.一种用于 重建三维人脸图像的方法， 所述方法包括： 获取人脸的视频数据， 所述视频数据包括所述人脸的多个帧， 所述多个帧中每一帧的 每个像素均包括深度信息； 对于所述多个帧中的每一帧： 基于该帧中每 个像素的深度信息， 确定该帧对应的单帧三维点云； 并且 从该帧的RGB图像中提取多个图像关键点； 基于所述多个帧中每一帧对应的单帧三维点云， 生成三维人脸 点云； 以及 基于所述多个帧中的至少两帧中每一帧的多个图像关键点， 对所述三维人脸点云进行 优化， 以得到目标三维人脸图像。 2.根据权利要求1所述的方法， 其中， 所述多个图像关键点包括用于标记所述人脸的第 一区域的结构关键点， 所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。 3.根据权利要求2所述的方法， 其中， 所述基于所述多个帧中的至少两帧中每一帧的多 个图像关键点， 对所述 三维人脸 点云进行优化， 包括： 从所述多个帧中至少选择第一帧和第二帧， 其中， 所述第一帧的多个图像关键点中至 少包括第一结构关键点， 所述第一结构关键点与所述第二帧的多个图像关键点中的第二结 构关键点相对应； 分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维 坐标； 以及 基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一 差值， 对所述 三维人脸 点云进行优化。 4.根据权利要求3所述的方法， 其中， 所述多个图像关键点还包括所述人脸的语义关键 点， 所述语义关键点用于指示人脸预设部位的语义信息， 并且其中， 所述第一帧的多个图像 关键点还包括第一语义关键点， 所述第二帧的多个图像关键点还包括第二语义关键点， 其 中， 所述第一语义关键点和所述第二语义关键点具有相同的语义信息， 其中， 所述方法还包 括： 分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维 坐标； 以及 所述基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的 第一差值， 对所述 三维人脸 点云进行优化， 包括： 基于所述第一差值和第二差值， 对所述三维人脸点云进行优化， 所述第二差值为所述 第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。 5.根据权利要求4所述的方法， 其中， 所述基于所述第一差值和第二差值， 对所述三维 人脸点云进行优化， 包括： 为所述第一差值分配第一权 重， 以调整所述第一差值； 为所述第二差值分配第二权 重， 以调整所述第二差值； 以及 基于经调整的第一差值和经调整的第二差值， 对所述 三维人脸 点云进行优化。 6.根据权利要求5所述的方法， 其中， 所述第一权 重小于所述第二权 重。 7.一种用于 重建三维人脸图像的装置， 所述装置包括： 获取单元， 用于获取人脸的视频数据， 所述视频数据包括所述人脸的多个帧， 所述多个权　利　要　求　书 1/3 页 2 CN 115239888 A 2帧中每一帧的每 个像素均包括深度信息； 确定单元， 用于对于所述多个帧中的每一帧， 基于该帧中每个像素的深度信息， 确定该 帧对应的单帧三维点云； 提取单元， 用于对于所述多个帧中的每一帧， 从该帧的RGB图像中提取多个图像关键 点； 生成单元， 用于基于所述多个帧中每一帧对应的单帧三维点云， 生成三维人脸点云； 以 及 优化单元， 用于基于所述多个帧中的至少两帧中每一帧的多个图像关键点， 对所述三 维人脸点云进行优化， 以得到目标三维人脸图像。 8.根据权利要求7所述的装置， 其中， 所述多个图像关键点包括用于标记所述人脸的第 一区域的结构关键点， 所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。 9.根据权利要求8所述的装置， 其中， 所述优化单 元包括： 选择子单元， 用于从所述多个帧中至少选择第 一帧和第 二帧， 其中， 所述第 一帧的多个 图像关键点中至少包括第一结构关键点， 所述第一结构关键点与所述第二帧的多个图像关 键点中的第二结构关键点相对应； 确定子单元， 用于分别确定所述第 一结构关键点和所述第 二结构关键点在所述三维人 脸点云中的三维坐标； 以及 优化子单元， 用于基于所述第 一结构关键点的三维坐标和所述第 二结构关键点的三维 坐标之间的第一差值， 对所述 三维人脸 点云进行优化。 10.根据权利要求9所述的装置， 其中， 所述多个图像关键点还包括所述人脸的语义关 键点， 所述语义关键点用于指示人脸预设部位的语义信息， 并且其中， 所述第一帧的多个图 像关键点还包括第一语义关键点， 所述第二帧的多个图像关键点还包括第二语义关键点， 其中， 所述第一语义关键点和所述第二语义关键点具有相同的语义信息， 其中， 所述确定子 单元还被配置用于分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸 点云中的三维坐标； 以及 所述优化子单元还被配置用于基于所述第 一差值和第 二差值， 对所述三维人脸点云进 行优化， 所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐 标之间的差值。 11.根据权利要求10所述的装置， 其中， 所述优化子单 元还被配置为： 为所述第一差值分配第一权 重， 以调整所述第一差值； 为所述第二差值分配第二权 重， 以调整所述第二差值； 以及 基于经调整的第一差值和经调整的第二差值， 对所述 三维人脸 点云进行优化。 12.根据权利要求1 1所述的装置， 其中， 所述第一权 重小于所述第二权 重。 13.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于权　利　要　求　书 2/3 页 3 CN 115239888 A 3