(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210407639.6 (22)申请日 2022.04.19 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 胡永恒　马晨光　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 李世喆 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06T 7/55(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 分割模型的训练方法及 装置、 图像识别方法 及装置 (57)摘要 本说明书实施例提供了一种分割模型的训 练方法及装置， 图像识别方法及装置。 该分割模 型包括： 第一网络模型、 第二网络模型 以及第三 网络模型。 训练方法包括： 获取样本图像对； 样本 图像对中包括对同一视觉范围拍摄后得到的RGB 图像以及深度图像； 将深度图像输入第一网络模 型， 得到第一深度特征提取结果； 将深度图像与 RGB图像的组合图像输入第二网络模型， 得到目 标对象的边缘特征； 将目标对象的边缘特征以及 第一深度特征提取结果输入第三网络模型， 得到 目标对象的分割结果； 根据标签以及该目标对象 的分割结果， 对第一网络模型、 第二网络模型 以 及第三网络模 型进行参数调整。 本说明书实施例 能够更为 准确地得到目标对象的分割信息 。 权利要求书2页 说明书10页 附图7页 CN 114913338 A 2022.08.16 CN 114913338 A 1.分割模型的训练方法， 该分割 模型包括： 第 一网络模型、 第 二网络模型以及第 三网络 模型， 其中包括： 获取样本图像对； 其中， 所述样本图像对中包括对同一视觉范围拍摄后得到的RGB图像 以及深度图像； 将所述深度图像输入第 一网络模型， 得到该第 一网络模型输出的第 一深度特征提取结 果； 将所述深度图像与所述RGB图像的组合图像输入第二网络模型， 得到该第二网络模型 输出的目标对象的边 缘特征； 将所述目标对象的边缘特征以及所述第 一深度特征提取结果输入第 三网络模型， 得到 该第三网络模型输出的目标对象的分割结果； 根据所述样本 图像对的标签以及该目标对象的分割结果， 对所述第一网络模型、 第二 网络模型以及第三网络模型进行参数调整。 2.根据权利要求1所述的方法， 其中， 所述样本图像对的标签包括： 第 一标签以及第 二标签； 其中， 第一标签为预先由人工形 成的对所述RGB图像或所述深度图像的分割结果； 第二标签为对所述第一标签进行高斯模 糊处理后得到的； 所述对所述第一网络模型、 第二网络模型以及第三网络模型进行参数调整， 包括： 根据第一标签与目标对象的分割结果之间的差异， 对第 二网络模型以及第 三网络模型 进行参数调整； 根据第二标签与第一深度特 征提取结果之间的差异， 对第一网络模型进行参数调整。 3.根据权利要求1所述的方法， 其中， 在所述将所述深度图像输入第一网络模型中之后， 进一步包括： 得到第一网络模型包 括的中间层神经网络所提取出的目标对象的轮廓信息， 将该中间层神经网络所提取出的目 标对象的轮廓信息作为第二深度特 征提取结果输出 给所述第二网络模型； 在所述将所述深度图像与所述RGB图像的组合图像输入第二网络模型之后， 并在得到 该第二网络模型输出的目标对象的边 缘特征之前， 进一 步包括： 由所述第二网络模型包括的前端各层神经网络对所述组合图像进行特征提取， 得到初 级边缘特征； 由第二网络模型包括的后端各层神经网络对该初级边缘特征以及第二深度特征提取 结果进行处 理， 以便得到并输出 所述目标对象的边 缘特征。 4.根据权利要求3所述的方法， 其中， 调 整所述第 一网络模型及所述第 二网络模型的所 述卷积核以及卷积步长， 使得所述初级边缘特征与所述第二深度特征提取结果对应的图像 尺寸相同。 5.根据权利要求1所述的方法， 其中， 在将所述深度图像与所述RGB图像进行组合之前， 进一步包括： 对所述RGB图像的像素值和所述深度图像的像素值进行归一化， 并且将深度图像中值 为空的像素的像素值归一 化为0。 6.图像识别方法， 其中包括： 获取对同一视 觉范围拍摄后得到的待处 理的RGB图像以及待处 理的深度图像；权　利　要　求　书 1/2 页 2 CN 114913338 A 2将待处理 的深度图像输入第 一网络模型， 得到该第 一网络模型输出的深度特征提取结 果； 将待处理的深度图像与待处理的RGB图像的组合图像输入第二网络模型， 得到该第二 网络模型输出的目标对象的边 缘特征； 将该目标对象的边缘特征以及该深度 特征提取结果输入第 三网络模型， 得到该第 三网 络模型输出的目标对象的分割结果。 7.分割模型的训练装置， 其中包括： 样本图像获取模块， 配置为获取样本图像对； 其中， 样本图像对中包括对同一视觉范围 拍摄后得到的所述RGB图像以及所述深度图像； 第一网络模型训练模块， 配置为将所述深度图像输入第一网络模型， 得到该第一网络 模型输出的第一深度特 征提取结果； 第二网络模型训练模块， 配置为将所述深度图像与所述RGB图像组合， 将该组合图像输 入第二网络模型， 得到该第二网络模型输出的目标对象的边 缘特征； 第三网络模型训练模块， 配置为将所述目标对象的边缘特征以及所述第 一深度特征提 取结果输入第三网络模型， 得到该第三网络模型输出的目标对象的分割结果； 调整模块， 配置为根据所述样本 图像对的标签以及该目标对象的分割结果， 对所述第 一网络模型、 第二网络模型以及第三网络模型进行参数调整。 8.根据权利要求7 所述的装置， 其中， 第一网络模型训练模块进一步被配置为执行： 得到第 一网络模型包括的中间层神经网 络所提取出的目标对象的轮廓信息， 将该中间层神经网络所提取出的目标对象的轮廓信息 作为第二深度特 征提取结果输出 给所述第二网络模型； 第二网络模型训练模块进一步被配置为执行： 控制所述第 二网络模型包括的前端各层 神经网络对所述组合图像进行特征提取以得到初级边缘特征， 以及 控制第二网络模型包括 的后端各层神经网络对该初级边缘特征以及第二深度特征提取结果进 行处理， 以由第二网 络模型输出 所述目标对象的边 缘特征。 9.图像识别装置， 其中， 包括： 图像输入模块， 配置为获取对同一视觉范围拍摄后得到的待处理的RGB图像以及待处 理的深度图像； 第一网络模型， 配置为接收所述待处 理的深度图像， 得到深度特 征提取结果； 第二网络模型， 配置为接收所述待处理的深度图像与所述待处理的RGB图像的组合图 像， 得到目标对象的边 缘特征； 第三网络模型， 配置为接收该目标对象的边缘特征以及该深度特征提取结果， 得到目 标对象的分割结果。 10.一种计算设备， 包括存储器和 处理器， 所述存储器中存储有可执行代码， 所述处理 器执行所述可执行代码时， 实现权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114913338 A 3