(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210307718.X (22)申请日 2022.03.25 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 申请人 北京邮电大 学 (72)发明人 许镕涛　王常维　徐士彪　孟维亮　 张晓鹏　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 肖艳 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/00(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 局部描述子生成方法、 装置、 电子设备和计 算机程序 产品 (57)摘要 本发明提供一种局部描述子生成方法、 装 置、 电子设备和计算机程序产品， 所述方法包括： 生成跨域数据集， 跨域数据集包括多对 图像对； 根据跨域数据集的尺度特征图， 获取特征级域自 适应监督信息； 根据特征级域自适应监督信息的 密集描述子， 获取像素级跨域一致性监督信息和 描述子损失信息； 基于特征级域自适应监督信 息、 像素级跨域一致性监督信息和描述子损失信 息的结合， 确定总损失， 总损失用于网络的监督 训练， 获取局部描述子。 本发明可增强局部描述 子的不变性和鲁棒性， 提高描述子在图像匹配任 务上的精度。 权利要求书2页 说明书10页 附图5页 CN 114743013 A 2022.07.12 CN 114743013 A 1.一种局部描述子生成方法， 其特 征在于， 包括： 生成跨域数据集， 所述 跨域数据集包括多对图像对； 根据所述 跨域数据集的尺度特 征图， 获取 特征级域自适应监 督信息； 根据所述特征级域自适应监督信 息的密集描述子， 获取像素级跨域一致性监督信 息和 描述子损失信息； 基于所述特征级域自适应监督信 息、 所述像素级跨域一致性监督信 息和所述描述子损 失信息的结合， 确定总损失， 所述总损失用于网络的监 督训练， 获取局部描述子 。 2.根据权利要求1所述的局部描述子生成方法， 其特征在于， 所述生成跨域数据集， 包 括： 根据数据集确定源域图像IS； 根据所述源域图像IS， 获取对应的目标域图像IT， 所述目标域图像IT和源域图像IS构成 图像对； 根据所述目标域图像IT与所述源域图像IS的对应关系， 获取所述网络的监督训练的标 签， 其中， 所述跨域数据集包括图像对和网络的监督训练的标签， 所述目标域图像IT与所述 源域图像IS的对应关系包括 风格迁移关系 、 Homomorphic变换关系和真实标注关系。 3.根据权利要求1所述的局部描述子生成方法， 其特征在于， 所述根据 所述跨域数据集 的尺度特 征图， 获取 特征级域自适应监 督信息， 包括： 将所述图像对输入编码器， 获取多个尺度特 征图； 所述尺度特征图通过域分类器进行域对抗学习， 提取全局域不变特征， 其中， 所述域分 类器包括梯度反转层和至少一层全连接层； 根据所述尺度特征图计算特征级域损 失函数， 用于增强所述全局域不变特征的性能， 其中， 所述特 征级域损失函数用于表征 所述特征级域自适应监 督信息。 4.根据权利要求3所述的局部描述子生成方法， 其特征在于， 所述尺度 特征图通过域分 类器进行域对抗学习， 提取全局域 不变特征， 包括： 根据所述 域分类器的隐藏层和分类层， 计算源域分类损失值； 计算域分类损失值； 根据所述源域分类损 失值和所述域分类损 失值， 计算梯度最大化损 失函数， 用于通过 所述源域分类损失值 最小化和所述 域分类损失值 最大化， 提升所述 域分类器的性能。 5.根据权利要求3所述的局部描述子生成方法， 其特征在于， 所述根据 所述特征级域自 适应监督信息的密集描述子， 获取像素级跨 域一致性监督信息和描述子损失信息， 包括： 根据所述全局域 不变特征和所述多个尺度特 征图， 通过解码器获取 特征图； 根据所述特 征图， 获取密集描述子； 根据所述密集描述子确定均值特 征图、 最大 特征图、 正距离和负距离； 根据所述密集描述子的均值特征图和最大特征图， 计算像素级跨域一致性损 失函数， 其中， 所述像素级跨 域一致性损失函数用于表征 所述像素级跨 域一致性监督信息； 根据所述密集描述子的正距离和负距离， 计算三元组损失函数， 其中， 所述三元组损失 函数用于表征 所述描述子损失信息 。 6.根据权利要求1所述的局部描述子生成方法， 其特征在于， 基于所述特征级域自适应 监督信息、 所述像素级跨域一致性监督信息和所述描述子损失信息的结合， 确定总损失， 包权　利　要　求　书 1/2 页 2 CN 114743013 A 2括： 根据所述特征级域自适应监督信 息、 所述像素级跨域一致性监督信 息和描述子损失信 息的加权和， 确定总损失； 根据所述总损失进行网络训练， 获取局部描述子， 用于增强所述局部描述子的不变性， 所述网络包括编码器 ‑解码器网络 。 7.一种局部描述子生成装置， 其特 征在于， 包括： 生成模块， 用于生成跨 域数据集； 第一获取模块， 用于根据所述跨域数据集的尺度特征图， 获取特征级域自适应监督信 息； 第二获取模块， 用于根据所述特征级域自适应监督信息的密集描述子， 获取像素级跨 域一致性监督信息和描述子损失信息； 确定模块， 用于基于所述特征级域自适应监督信息、 所述像素级跨域一致性监督信息 和所述描述子损失信息的结合， 确定总损失， 所述总损失用于网络的监督训练， 获取局部描 述子。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述局部描述子生成方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述局部描述子生成方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述局部描述子生成方法。权　利　要　求　书 2/2 页 3 CN 114743013 A 3