(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210179661.X (22)申请日 2022.02.25 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 胡志强　刘子豪　李卓威　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练方法、 图像处理方法及相关装置、 设备 和存储介质 (57)摘要 本申请公开了一种训练方法、 图像处理方法 及相关装置、 设备和存储介质， 训练方法包括： 利 用特征提取网络对样本图像进行特征提取， 得到 样本图像的样本特征图； 利用 样本特征图， 确定 若干组区域组合的特征相似度， 其中， 样本图像 包括若干局部区域， 以及每组区域组合的特征相 似度表示所述区域组合包括的至少两个局部区 域得到的； 以及， 基于各组区域组合的标注信息， 确定各组区域组合对应的参考关系参数， 其中， 各参考关系参数表示区域组合中的局部区域之 间的实际差异情况； 利用各 组区域组合的特征相 似度以及参考关系参数， 调整特征提取网络的网 络参数。 通过该方法， 提高了特征提取网络对相 同的图像信息的提取准确度。 权利要求书4页 说明书22页 附图4页 CN 114648658 A 2022.06.21 CN 114648658 A 1.一种特 征提取网络的训练方法， 其特 征在于， 包括： 利用特征提取网络对样本图像进行 特征提取， 得到所述样本图像的样本特 征图； 利用所述样本特征图， 确定若干组区域组合的特征相似度， 其中， 所述样本图像包括若 干局部区域， 以及每组所述区域组合的特征相似度表示所述区域组合包括的至少两个所述 局部区域的特 征信息的相似度情况； 以及， 基于各组所述区域组合的标注信息， 确定各组所述区域组合对应的参考关系参数， 其 中， 各所述参考关系参数表示所述区域组合中的局部区域之间的实际差异情况； 利用各组所述区域组合的特征相似度以及参考关系参数， 调 整所述特征提取网络的网 络参数。 2.根据权利要求1所述的方法， 其特征在于， 所述 区域组合的标注信 息包括所述 区域组 合的每个所述局部区域中的像素点所属的预设 分类； 所述基于各组所述区域组合的标注信息， 确定各组所述区域组合对应的参考关系参 数， 包括： 分别将各 所述区域组合作为目标区域组合； 基于所述目标区域组合的标注信 息， 分别确定每个目标局部区域关于各所述预设分类 的类别参数， 其中， 所述目标局部区域为所述目标区域组合中的局部区域， 关于所述预设分 类的类别参数表征 所述目标局部区域中属于所述预设 分类的像素点情况； 基于所述类别参数， 得到所述目标区域组合的参 考关系参数。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述目标区域组合的标注信息， 分别确定每 个目标局部区域关于各 所述预设 分类的类别参数， 包括： 分别将每 个所述预设 分类作为目标分类； 对于每个所述目标局部区域， 统计所述目标局部区域中属于所述目标分类的像素点数 量， 并基于属于所述 目标分类的像素点数量， 确定所述 目标局部区域关于所述目标分类的 类别参数； 和/或， 所述利用所述类别参数， 得到所述目标区域组合的参 考关系参数， 包括： 对于各所述预设分类， 基于每个所述目标局部区域关于所述预设分类的类别参数， 得 到所述目标区域组合关于所述预设 分类的类别参数差异； 基于所述目标区域组合关于各所述预设分类的类别参数差异， 得到所述目标区域组合 的参考关系参数。 4.根据权利要求3所述的方法， 其特征在于， 所述基于属于所述目标分类的像素点数 量， 确定所述目标局部区域关于所述目标分类的类别参数， 包括： 将属于所述目标分类的像素点数量与所述目标局部区域的总像素点数量之间的比值， 作为所述目标局部区域关于所述目标分类的类别参数。 5.根据权利要求3所述的方法， 其特征在于， 所述基于每个所述目标局部区域属于所述 预设分类的类别参数， 得到所述目标区域组合关于所述预设 分类的类别参数差异， 包括： 将所述目标局部区域之间关于所述预设分类的类别参数之差， 作为所述目标区域组合 关于所述预设 分类的类别参数差异； 所述基于所述目标区域组合关于各所述预设分类的类别参数差异， 得到所述目标区域 组合的参 考关系参数， 包括：权　利　要　求　书 1/4 页 2 CN 114648658 A 2获取所述目标区域组合关于各 所述预设 分类的类别参数差异的统计值； 利用所述目标区域组合的统计值， 得到所述目标区域组合的参考关系参数， 其中， 所述 目标区域组合的参 考关系参数与所述目标区域组合的统计值成负相关。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述利用各组所述区域组合的 特征相似度以及所述 参考关系参数， 调整所述特 征提取网络的网络参数， 包括： 分别将各组所述区域组合作为目标区域组合， 利用所述目标区域组合的参考关系参 数， 调整所述目标区域组合的特征相似度， 得到所述目标区域组合的参考特征相似度， 并基 于所述目标区域组合的参 考特征相似度， 得到所述目标区域组合的第一损失； 基于各组所述区域组合的第一损失， 得到所述特 征提取网络的第二损失； 利用所述第二损失， 调整所述特 征提取网络的网络参数。 7.根据权利要求6所述的方法， 其特征在于， 所述利用所述目标区域组合的参考关系参 数， 调整所述目标区域组合的特征相似度， 得到所述目标区域组合的参考特征相似度， 包 括： 将所述目标区域组合的参考关系参数与 所述目标区域组合的特征相似度的乘积， 作为 所述目标区域组合的参 考特征相似度； 所述基于所述目标区域组合的参考特征相似度， 得到所述目标区域组合的第一损 失， 包括： 利用至少一个辅助区域组合的特征相似度以及辅助关系参数， 对应得到各所述辅助区 域组合的辅助特征相似度， 其中， 所述辅助区域组合与所述 目标区域组合存在至少一个相 同的所述局部区域， 所述辅助区域组合的辅助关系参数是基于辅助区域组合的参考关系参 数得到的； 基于所述参考特征相似度和辅助特征相似度， 得到所述目标区域组合对应的第一损 失。 8.根据权利要求7所述的方法， 其特征在于， 所述目标区域组合中的一个所述局部区域 为参考区域， 所述辅助区域组合 为包含所述参考区域的区域组合； 和/或， 所述辅助区域组合的辅助关系参数与所述辅助区域组合的参考关系参数之和 为预设数值； 和/或， 所述基于所述参考特征相似度和辅助 特征相似度， 得到所述目标区域组合对应 的第一损失， 包括： 将所述参考特征相似度进行 预设运算， 得到第一 运算结果； 对各所述辅助区域组合的辅助 特征相似度分别进行所述预设运算， 得到各所述辅助区 域组合对应的第二 运算结果； 基于所述第 一运算结果与 各所述辅助区域组合对应的第 二运算结果之和的比值， 得到 所述目标区域组合对应的第一损失。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 所述特征提取网络为图像处理 模型中的一部分， 所述图像处理模型用于基于所述样本图像的样本特征图， 对所述样本图 像进行预测； 所述特征提取网络的训练方法在所述图像处 理模型的预训练阶段 执行。 10.根据权利要求1至9任一项所述的方法， 其特征在于， 所述区域组合的参考关系参数权　利　要　求　书 2/4 页 3 CN 114648658 A 3