(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221043282 2.1 (22)申请日 2022.04.21 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 莫申童　孙准　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 特征图提取模型的训练方法和装置 (57)摘要 本公开提供了特征图提取模型的训练方法 和装置， 涉及图像处理技术领域， 尤其涉及计算 机视觉、 深度学习等领域。 具体方案为： 将获取的 多个样本图像对输入特征图提取模 型， 由模型中 的M个特征提取层进行特征提取， 基于选定的N层 输出的特征图对应的投影模块， 获取任一样本图 像对的特征表 示， 基于第一特征提取层对应的第 一特征表示和第二特征提取层对应的第二特征 表示， 确定模 型的损失函数以对模 型进行反向调 整， 返回调整后的模型进行下次训练， 直至训练 结束生成目标特征图提取模型。 本公开考虑浅层 的细粒度实例不变性和深层的局部信息的聚类 不变性， 可以通过对比学习同时利用第一特征表 示的实例不变性和第二特征表 示的原型不变性， 实现特征图的优化。 权利要求书4页 说明书12页 附图8页 CN 114913339 A 2022.08.16 CN 114913339 A 1.一种特 征图提取模型的训练方法， 包括： 获取多个样本 图像对， 每个样本 图像对中包括两个样本 图像， 并将所述任一样本 图像 对输入特征图提取模型中， 由模型中的M个特征提取层进 行特征提取， 所述M为大于2的正整 数； 基于选定的N层输出的所述特征图对应的投影模块， 获取所述任一样本 图像对中两个 样本图像各自的特征表示， 其中， 所述选定的N层中包括小于或等于预设层数的第一特征提 取层， 以及大于所述预设层数的第二特 征提取层， 所述 N为小于或者 等于M的正整数； 基于所述第一特征提取层对应的第一特征表示和所述第二特征提取层对应的第二特 征表示， 确定所述特 征图提取模型的损失函数； 根据所述损失函数对所述特征图提取模型进行反向调 整， 并返回调 整后的所述特征图 提取模型进行 下一次训练， 直至训练结束生成目标 特征图提取模型。 2.根据权利要求1所述的方法， 其中， 所述基于所述低级特征表示和所述高级特征表示 确定所述特 征图提取模型的损失函数， 包括： 基于每个所述第 一特征提取层对应的第 一特征表示， 确定每个所述第 一特征提取层的 损失函数， 并基于每个所述第一特征提取层的损失函数， 获取所述特征图提取模型 的第一 损失函数； 基于所述第二特征提取层对应的第二特征表示， 确定所述第二特征提取层的损失函 数， 并基于所述第二特 征提取层的损失函数， 获取 所述特征图提取模型的第二损失函数； 基于所述第一损失函数和所述第二损失函数确定所述特 征图提取模型的损失函数。 3.根据权利要求2所述的方法， 其中， 所述第一特征提取层的损 失函数的获取过程， 包 括： 基于所述多个样本图像对中的所述两个样本图像各自的第 一特征表示， 进行基于信 息 的归一化交叉熵损失运 算， 得到所述第一特 征提取层的损失函数。 4.根据权利要求2所述的方法， 其中， 所述第二特征提取层的损 失函数的获取过程， 包 括： 基于所述多个样本图像对中的所述两个样本图像各自的第 二特征表示， 进行基于信 息 的归一化交叉熵损失运 算， 得到所述第二特 征提取层的第一子损失函数； 对所述多个样本图像对中的所述两个样本图像各自的第二特征表示进行原型提取处 理； 基于原型提取的类型和所述第二特征表示， 进行基于原型的归一化交叉熵损 失运算， 得到所述第二特 征提取层的第二子损失函数； 基于所述第 二特征提取层的第 一子损失函数和第 二子损失函数， 确定所述第 二特征提 取层的损失函数。 5.根据权利要求3或4所述的方法， 其中， 所述多个样本 图像中包括正样本 图像和负样 本图像， 所述进行基于信息的归一 化交叉熵损失运 算， 还包括： 获取所述负样本图像对应的特 征表示； 对所述负样本图像对应的特征表示和所述正样本图像对应的特征表示进行目标函数 运算， 得到运 算结果； 基于所述运算结果和所述两个样本图像各自的特征表示， 进行基于信 息的归一化交叉权　利　要　求　书 1/4 页 2 CN 114913339 A 2熵损失运 算。 6.根据权利要求1所述的方法， 其中， 获取多个样本图像对， 包括： 获取多个初始样本图像； 针对每个所述初始样本图像进行随机增强操作， 得到每个所述初始样本图像对应的增 强样本图像， 以生成所述多个样本图像对。 7.根据权利要求1所述的方法， 其中， 所述将所述任一样本图像对输入特征图提取模型 中， 还包括： 将所述任一样本图像对的两个样本图像分别进行分块分割， 获取所述两个样本图像各 自的子图像， 将所述子图像输入至所述特 征图提取模型。 8.根据权利要求7所述的方法， 其中， 所述M个特征提取层串联连接， 上一层输出的特征 图为下一层的输入， 每个所述特征提取层 包含基于多层非线性投影的特征嵌入模块和基于 注意力的视 觉转换模块， 所述特 征图提取 过程， 包括： 将待提取图像输入第 i特征提取层中由所述基于多层非线性投影的特征嵌入模块进行 降维， 所述 i的取值为1至M； 将所述降维后的待提取图像输入所述基于注意力的视觉转换模块进行特征提取， 获取 所述第i特 征提取层输出的特 征图。 9.一种图像的特 征提取方法， 包括： 将待识别图像输入到目标特征图提取模型中进行特征提取， 输出所述待识别图像的特 征图， 所述目标 特征图提取模型根据如权利要求1 ‑8中任一项所述训练方法得到 。 10.一种特 征图提取模型的训练装置， 包括： 第一特征提取模块， 用于获取多个样本图像对， 每个样本图像对中包括两个样本图像， 并将所述任一样本图像对输入特征图提取模型中， 由模型中的M个特征提取层进行特征提 取， 所述M为大于2的正整数； 第二特征提取模块， 用于基于选定的N层输出的所述特征图对应的投影模块， 获取所述 任一样本图像对中两个样本图像各自的特征表示， 其中， 所述选定的N层中包括小于或等于 预设层数的第一特征提取层， 以及大于所述预设层数的第二特征提取层， 所述N为小于或者 等于M的正整数； 损失函数确定模块， 用于基于所述第 一特征提取层对应的第 一特征表示和所述第 二特 征提取层对应的第二特 征表示， 确定所述特 征图提取模型的损失函数； 模型调整模块， 用于根据所述损 失函数对所述特征图提取模型进行反向调整， 并返回 调整后的所述特 征图提取模型进行 下一次训练， 直至训练结束生成目标 特征图提取模型。 11.根据权利要求10所述的装置， 其中， 所述损失函数确定模块， 还用于： 基于每个所述第 一特征提取层对应的第 一特征表示， 确定每个所述第 一特征提取层的 损失函数， 并基于每个所述第一特征提取层的损失函数， 获取所述特征图提取模型 的第一 损失函数； 基于所述第二特征提取层对应的第二特征表示， 确定所述第二特征提取层的损失函 数， 并基于所述第二特 征提取层的损失函数， 获取 所述特征图提取模型的第二损失函数； 基于所述第一损失函数和所述第二损失函数确定所述特 征图提取模型的损失函数。 12.根据权利要求1 1所述的装置， 其中， 所述损失函数确定模块， 还用于：权　利　要　求　书 2/4 页 3 CN 114913339 A 3