(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211035632.2 (22)申请日 2022.08.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 孟庆月　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 三维重建模型的训练方法、 三维重建方法、 装置、 设备 (57)摘要 本公开提供了一种用于三维重建模型的训 练方法、 三维重建方法、 装置、 电子设备和介质， 涉及人工智 能领域， 尤其涉及增强现实、 虚拟现 实、 计算机视觉、 深度学习等领域， 可应用于虚拟 数字人、 元宇宙等场景。 训练方法包括： 获得针对 目标区域采集的多个样本图像， 多个样本图像中 的至少两个样本图像在不同时刻被采集； 基于多 个样本图像通过第一子网络获得多个变形图像； 基于多个变形图像和第二子网络获得对目标区 域的三维重建的至少一个重建结果； 基于多个变 形图像和至少一个重建结果确定第一损失值； 以 及基于第一损失值调节第一子网络的参数。 权利要求书2页 说明书10页 附图4页 CN 115393514 A 2022.11.25 CN 115393514 A 1.一种用于三维重建模型的训练方法， 所述三维重建模型包括第一子网络和与 所述第 一子网络连接的第二子网络， 所述方法包括： 获得针对目标区域采集的多个样本图像， 所述多个样本图像中的至少两个样本图像在 不同时刻被采集； 基于所述多个样本图像通过 所述第一子网络获得多个 变形图像； 基于所述多个变形图像和所述第二子网络获得对所述目标区域的三维重建的至少一 个重建结果； 基于所述多个 变形图像和所述至少一个重建结果确定第一损失值； 以及 基于所述第一损失值调节所述第一子网络的参数。 2.根据权利要求1所述的方法， 其中， 基于所述多个变形图像和第 二子网络获得至少一 个重建结果包括： 基于所述多个变形图像， 根据所述第二子网络， 获得第一重建结果； 以及 基于所述第一重 建结果和所述多个变形图像， 根据所述第二子网络， 获得第二重 建结果； 并 且 基于所述多个变形图像和所述至少一个重建结果确定第 一损失值包括： 基于所述多个 变形图像、 所述第一重建结果和所述第二重建结果确定所述第一损失值。 3.根据权利要求2所述的方法， 其中， 所述第一重建结果包括至少一个第一颜色值， 所 述第二重建结果包括至少一个第二颜色值， 并且确定第一损失值基于所述多个变形图像和 所述至少一个重建结果确定第一损失值包括： 基于所述多个 变形图像确定 至少一个经变形的颜色值； 以及 确定所述第 一损失值以标识所述第 一颜色值、 所述第 二颜色值以及所述经变形的颜色 值之间的差异。 4.根据权利要求1 ‑3中任一项所述的方法， 还 包括： 基于所述多个样本图像和所述多个变形图像确定第 二损失值， 所述第 二损失值用于标 识所述多个 变形图像与所述多个样本图像之间的变形的刚性 程度； 以及 基于所述第二损失值调节所述第一子网络的参数。 5.根据权利要求1 ‑4中任一项所述的方法， 还包括基于所述第一损 失值调节所述第二 子网络的参数。 6.一种三维重建方法， 包括： 获得针对目标区域采集的多个图像， 所述样本图像中的至少两个图像在不同时刻被采 集； 基于所述多个图像获得多个 变形图像； 以及 基于所述多个变形图像获得对所述目标区域的三维重建的重建结果， 其中， 基于所述 多个图像获得多个变形图像的操作是基于根据权利要求 1‑5中任一项而获得的第一子网络 而实现的。 7.根据权利要求6所述的三维重建方法， 其中， 基于所述多个变形图像获得重建结果的 操作是基于根据权利要求5而获得的第二子网络而实现的。 8.一种用于三维重建模型的训练装置， 所述三维重建模型包括第一子网络和与 所述第 一子网络连接的第二子网络， 所述装置包括： 图像获得单元， 用于获得针对目标区域采集的多个样本 图像， 所述多个样本 图像中的权　利　要　求　书 1/2 页 2 CN 115393514 A 2至少两个样本图像在不同时刻被采集； 变形单元， 用于基于所述多个样本图像通过 所述第一子网络获得多个 变形图像； 重建单元， 用于基于所述多个变形图像和所述第 二子网络获得对所述目标区域的三维 重建的至少一个重建结果； 损失确定单元， 用于基于所述多个变形图像和所述至少一个重建结果确定第一损失 值； 以及 参数调节单 元， 用于基于所述第一损失值调节所述第一子网络的参数。 9.根据权利要求8所述的装置， 其中， 所述重建单元还用于： 基于所述多个变形图像， 根 据所述第二子网络， 获得第一重 建结果； 以及基于所述第一重 建结果和所述多个变形图像， 根据所述第二子网络， 获得第二重建结果； 并且 所述损失确定单元还用于： 基于所述多个变形图像、 所述第一重建结果和所述第二重 建结果确定所述第一损失值。 10.根据权利要求9所述的装置， 其中， 所述第 一重建结果包括至少一个第 一颜色值， 所 述第二重建结果包括至少一个第二颜色值， 并且所述损失确定单 元用于： 基于所述多个 变形图像确定 至少一个经变形的颜色值； 以及 确定所述第 一损失值以标识所述第 一颜色值、 所述第 二颜色值以及所述经变形的颜色 值之间的差异。 11.根据权利要求8 ‑10中任一项所述的装置， 还 包括用于以下操作的单 元： 基于所述多个样本图像和所述多个变形图像确定第 二损失值， 所述第 二损失值用于标 识所述多个 变形图像与所述多个样本图像之间的变形的刚性 程度； 以及 基于所述第二损失值调节所述第一子网络的参数。 12.根据权利要求8 ‑11中任一项所述的装置， 还包括： 用于基于所述第 一损失值调节所 述第二子网络的参数的单 元。 13.一种三维重建装置， 包括： 图像获得单元， 用于获得针对目标区域采集的多个图像， 所述样本 图像中的至少两个 图像在不同时刻被采集； 变形单元， 用于基于所述多个图像获得多个变形图像， 其中， 基于所述多个图像获得多 个变形图像的操作是基于根据权利要求8 ‑12中任一项 而获得的第一子网络而实现的； 以及 重建单元， 用于基于所述多个 变形图像获得对所述目标区域的三维重建的重建结果。 14.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5或6‑7中任一项所述的方法。 15.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5或6‑7中任一项所述的方法。 16.一种计算机程序产品， 包括计算机程序， 其中， 所述计算机程序在被处理器执行时 实现权利要求1 ‑5或6‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115393514 A 3