(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210753677.7 (22)申请日 2022.06.29 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 刘丰刚　李阳光　黄斌　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 尹礼 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01)G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种神经网络预训练方法、 图像处理方法及 装置 (57)摘要 本公开提供了一种神经网络预训练方法、 图 像处理方法及装置， 其中， 该方法包括： 获取样本 图像组， 其中， 每组样本图像组包括第一样本图 像和第二样 本图像， 每组样本图像组中的第一样 本图像和第二样本图像为对同一初始样本图像 经过不同变换得到的； 针对任一样本图像组， 基 于待训练的神经网络提取该样本图像组中第一 样本图像的第一局部特征， 以及提取该样本图像 组中第二样 本图像的第一全局特征； 基于所述第 一局部特征确定第一局部联合特征， 并基于所述 第一局部联合特征和所述第一全局特征确定用 于表征局部特征和第一全局特征之间差异性的 对比损失值， 并基于所述对比损失值对所述待训 练的神经网络的网络参数值进行调整。 权利要求书3页 说明书17页 附图4页 CN 114943878 A 2022.08.26 CN 114943878 A 1.一种神经网络预训练方法， 其特 征在于， 包括： 获取样本图像组， 其中， 每组样本图像组包括第 一样本图像和第二样本图像， 每组样本 图像组中的第一样本图像和第二样本图像为对同一初始样本图像经 过不同变换 得到的； 针对任一样本图像组， 基于待训练 的神经网络提取该样本图像组中第 一样本图像的第 一局部特 征， 以及提取 该样本图像组中第二样本图像的第一全局特 征； 基于所述第 一局部特征确定第 一局部联合特征， 并基于所述第 一局部联合特征和所述 第一全局特征确定用于表征局部特征和第一全局特征之 间差异性的对比损失值， 并基于所 述对比损失值对所述待训练的神经网络的网络参数值进行调整。 2.根据权利要求1所述的方法， 其特征在于， 所述基于待训练的神经网络提取该样本图 像组中第一样本图像的第一局部特 征， 包括： 基于所述待训练 的神经网络的第 一编码器对所述第 一样本图像进行编码， 确定所述第 一样本图像的第一初始特 征图； 基于所述待训练的神经网络的候选 框生成器， 生成至少一个候选 框； 基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部 特征； 对所述初始局部特 征进行深层特 征提取， 得到所述第一局部特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一样本图像的第 一初始特征图包括 多个尺寸的第一初始特 征图； 所述基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始 局部特征， 包括： 针对任一尺寸的第 一初始特征图， 基于该第 一初始特征图的尺寸和所述第 一样本图像 的尺寸， 对所述至少一个候选 框进行缩放处 理； 基于缩放处理后的至少一个候选框， 从该第 一初始特征图中框选出该第 一初始特征图 所包含的初始局部特 征。 4.根据权利要求2或3所述的方法， 其特征在于， 所述提取该样本 图像组中第二样本 图 像的第一全局特 征， 包括： 基于所述待训练 的神经网络的第 二编码器对所述第 二样本图像进行编码， 确定所述第 二样本图像的第二初始特 征图； 对所述第二初始特 征图进行池化处 理， 得到所述第二样本图像的第一全局特 征； 其中， 所述第二编码器的第二 参数是通过所述第一编码器的第一 参数确定的。 5.根据权利要求1～4任一所述的方法， 其特征在于， 所述第一局部特征包括多个不同 尺寸的局部特 征； 所述基于所述第一局部特 征确定第一局部联合特 征， 包括： 将所述第一局部特征中多个不同尺寸的局部特征进行映射处理， 得到第二局部特征； 其中， 所述第二局部特 征包含尺度相同的局部特 征； 将所述第二局部特 征进行至少一次全连接处 理， 得到所述第一局部联合特 征。 6.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 基于所述第一初始特 征图和所述第二初始特 征图， 确定全局特 征损失值； 所述基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整， 包括：权　利　要　求　书 1/3 页 2 CN 114943878 A 2基于所述全局特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值 进行调整。 7.根据权利要求1～6任一所述的方法， 其特 征在于， 所述方法还 包括： 提取所述第二样本图像的第三局部特 征； 基于所述第一局部特 征和所述第三局部特 征确定局部特 征损失值； 所述基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整， 包括： 基于所述局部特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值 进行调整。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述第 一局部特征和所述第 三局 部特征确定局部特 征损失值， 包括： 确定所述第 一局部特征所包含的各局部特征的第 一重要程度， 并基于所述第 一重要程 度从所述第一局部特 征中筛选出第一目标局部特 征； 以及， 确定所述第 三局部特征所包含的各局部特征的第 二重要程度， 并基于所述第 二重要程 度从所述第三局部特 征中筛选出第二目标局部特 征； 基于所述第一目标局部特 征和所述第二目标局部特 征， 确定所述局部特 征损失值。 9.根据权利要求1～8任一所述的方法， 其特征在于， 所述基于所述第一局部联合特征 和所述第一全局特征确定用于表征局部特征和 第一全局特征之 间差异性的对比损失值， 包 括： 基于所述待训练 的神经网络提取所述第 一样本图像的第 二全局特征， 以及提取所述第 二样本图像的第四局部特 征； 基于所述第四局部特 征确定第二局部联合特 征； 基于所述第一局部联合特征、 所述第一全局特征、 所述第二局部联合特征以及所述第 二全局特 征， 确定所述对比损失值。 10.根据权利要求1～9任一所述的方法， 其特征在于， 在对所述待训练 的神经网络进行 训练， 得到目标神经网络之后， 所述方法还 包括： 获取第三样本图像， 以及所述第三样本图像对应的监 督数据； 基于所述第三样本图像和所述第三样本图像对应的监督数据对所述目标神经网络进 行训练， 确定图像处 理网络。 11.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像； 基于图像处理网络对所述待处理图像进行处理， 得到所述待处理图像对应的处理结 果， 其中， 所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的， 所述目 标神经网络基于 权利要求1～ 9任一所述的方法进行 预训练。 12.一种神经网络预训练装置， 其特 征在于， 包括： 获取模块， 用于获取样本图像组， 其中， 每组样本图像组包括第一样本图像和第 二样本 图像， 每组样本图像组中的第一样本图像和 第二样本图像为对同一初始样本图像经过不同 变换得到的； 提取模块， 用于针对任一样本 图像组， 基于待训练的神经网络提取该样本 图像组中第 一样本图像的第一局部特 征， 以及提取 该样本图像组中第二样本图像的第一全局特 征；权　利　要　求　书 2/3 页 3 CN 114943878 A 3