(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211066959.6 (22)申请日 2022.09.01 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 杨黔生　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06T 13/40(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 3D重建网络的训练方法、 3D重建方法、 装置、 设备和介质 (57)摘要 本公开提供一种3D重建网络的训练方法、 3D 重建方法、 装置、 设备、 介质和程序产品， 涉及人 工智能技术领域， 尤其涉及深度学习、 图像处理 和计算机视觉技术， 可应用于3D视觉、 增强现实 等场景。 具体为： 将第一网络和第二网络构建为 重建网络， 第一网络包括第一、 第二输出层； 将样 本图像输入第一网络， 将重建对象的关键点定位 信息作为第一输出层的第一输出标签对第一网 络进行第一监督训练； 将样本图像输入训练后的 第一网络， 利用第一输出层的输出对第二输出层 的输出进行局部特征抽取； 将抽取到的局部注意 力特征输入第二网络， 将重建对象的重建模型参 数作为第二网络的第二输出标签对重建网络进 行第二监督训练。 本公开可保证重建网络输出的 有效性和稳定性。 权利要求书3页 说明书11页 附图6页 CN 115239889 A 2022.10.25 CN 115239889 A 1.一种3D重建网络的训练方法， 包括： 将第一网络和第二网络构建为重建网络， 其中， 所述第一网络包括第一输出层和第二 输出层， 所述第一输出层用于预测样本图像中重建对 象的关键点定位信息， 所述第二输出 层用于输出所述样本图像的图像特 征； 将所述样本图像作为所述第 一网络的输入， 将所述重建对象的关键点定位信 息作为所 述第一输出层的第一输出 标签， 对所述第一网络进行第一 监督训练； 将所述样本图像作为经所述第 一监督训练 的第一网络的输入， 利用所述第 一输出层的 输出对所述第二输出层的输出进行局部特 征抽取， 得到局部注意力特 征； 将所述局部注意力特征输入所述第 二网络， 将所述重建对象的重建模型参数作为所述 第二网络的第二输出 标签， 对所述重建网络进行第二 监督训练。 2.根据权利要求1所述的方法， 其中， 所述关键点定位信息为关键点高斯热图。 3.根据权利要求1所述的方法， 其中， 所述利用所述第 一输出层的输出对所述第 二输出 层的输出进行局部特 征抽取， 得到局部注意力特 征， 包括： 将所述第一输出层的输出和所述第 二输出层的输出进行相乘运算， 并将所述运算的结 果作为所述局部注意力特 征。 4.根据权利要求1所述的方法， 其中， 所述对所述重建网络进行第二 监督训练， 包括： 利用所述第二输出标签对所述第二网络输出的所述重建对象的重建模型参数的预测 值进行监 督， 通过所述监督的过程优化所述重建网络 。 5.根据权利要求 4所述的方法， 所述对所述重建网络进行第二 监督训练， 还 包括： 利用所述重建模型参数的预测值计算3D关键点信息预测值； 将所述重建对象的3D关键点信息作为所述第二网络的第三输出标签对所述3D关键点 信息预测值进行监 督， 通过所述监督的过程优化所述重建网络 。 6.根据权利要求5所述的方法， 所述对所述重建网络进行第二 监督训练， 还 包括： 根据所述第二网络 输出的重建模型参数的预测值回归相机参数； 根据所述相机参数对所述3D关键点信息预测值进行投影， 得到2D关键点信息预测值； 将所述重建对象的2D关键点信息作为所述第二网络的第 四输出标签对所述2D关键点 信息预测值进行监 督， 通过所述监督的过程优化所述重建网络 。 7.根据权利要求1所述的方法， 其中， 所述第一网络为CN N卷积神经网络 。 8.根据权利要求1所述的方法， 其中， 所述第二网络为GCN图卷积神经网络； 相应的， 所 述将所述局部注意力特 征输入所述第二网络， 包括： 将所述局部注意力特 征和预先定义的所述重建对象的结构图输入所述第二网络 。 9.根据权利要求1所述的方法， 其中， 所述重建对象包括人手， 所述重建模型包括人手 模型MANO， 所述重建模型参数包括所述人手模型MANO的形状参数和姿态参数。 10.一种3D重建方法， 包括： 将目标图像输入预先训练的重建网络， 其中， 所述重建网络包括第一网络和第 二网络， 所述第一网络包括第一输出层和第二输出层； 利用所述第 一网络， 通过所述第 一输出层输出所述目标图像中目标重建对象的关键点 定位信息的目标 预测值， 通过 所述第二输出层输出 所述目标图像的目标图像特 征； 利用所述关键点定位信 息的目标预测值对所述目标图像特征进行局部特征抽取， 得到权　利　要　求　书 1/3 页 2 CN 115239889 A 2目标局部注意力特 征； 将所述目标局部注意力特征输入所述第 二网络， 利用所述第 二网络输出所述目标重建 对象的目标重建模型参数； 根据所述目标重建模型参数对所述目标重建对象进行3D重建。 11.根据权利要求10所述的方法， 其中， 所述关键点定位信 息的目标预测值由关键点高 斯热图表示。 12.根据权利要求10所述的方法， 其中， 所述第一网络为CNN卷积神经网络； 所述第二网 络为GCN图卷积神经网络 。 13.一种3D重建网络的训练装置， 包括： 构建模块， 用于将第一网络和第 二网络构建为重建网络， 其中， 所述第 一网络包括第一 输出层和第二输出层， 所述第一输出层用于预测样本图像中重建对 象的关键点定位信息， 所述第二输出层用于 输出所述样本图像的图像特 征； 第一监督训练模块， 用于将所述样本 图像作为所述第一网络的输入， 将所述重建对象 的关键点定位信息作为所述第一输出层的第一输出标签， 对所述第一网络进 行第一监督训 练； 第一特征抽取模块， 用于将所述样本图像作为经所述第一监督训练的第一网络的输 入， 利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取， 得到局部注 意力特征； 第二监督训练模块， 将所述局部注意力特征输入所述第二网络， 将所述重建对象的重 建模型参数作为所述第二网络的第二输出 标签， 对所述重建网络进行第二 监督训练。 14.根据权利要求13所述的装置， 其中， 所述关键点定位信息为关键点高斯热图。 15.根据权利要求13所述的装置， 其中， 所述第一特 征抽取模块具体用于： 将所述样本图像作为经所述第 一监督训练 的第一网络的输入， 将所述第 一输出层的输 出和所述第二输出层的输出进行相乘运算， 并将所述运算的结果作为所述局部注意力特 征。 16.根据权利要求13所述的装置， 其中， 所述第二 监督训练模块， 包括： 第一监督训练单元， 用于利用所述第 二输出标签对所述第 二网络输出的所述重建对象 的重建模型参数的预测值进行监 督， 通过所述监督的过程优化所述重建网络 。 17.根据权利要求16所述的装置， 其中， 所述第 二监督训练模块还包括第 二监督训练单 元， 所述第二 监督训练单 元包括： 计算子单 元， 用于利用所述重建模型参数的预测值计算3D关键点信息预测值； 第二监督训练子单元， 用于将所述重建对象的3D关键点信 息作为所述第 二网络的第三 输出标签对所述3D关键点信息预测值进行监 督， 通过所述监督的过程优化所述重建网络 。 18.根据权利要求17所述的装置， 其中， 所述第 二监督训练模块还包括第 三监督训练单 元， 所述第三 监督训练单 元包括： 相机参数回归子单元， 用于根据所述第 二网络输出的重建模型参数的预测值 回归相机 参数； 投影子单元， 用于根据所述相机参数对所述3D关键点信息预测值进行投影， 得到2D关 键点信息预测值；权　利　要　求　书 2/3 页 3 CN 115239889 A 3