(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221075423 0.1 (22)申请日 2022.06.28 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 秦方博　余山　徐德　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 常芳 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像特征提取方法、 装置和电子设备 (57)摘要 本发明提供一种图像特征提取方法、 装置和 电子设备， 涉及机器视觉技术领域， 其中方法包 括： 获取针状工具的原始图像； 将所述原始图像 输入至特征提取网络中， 得到所述特征提取网络 输出的多个特征图； 其中， 所述多个特征图至少 包括以下之一： 针尖点置信度图、 针尖轮廓图、 针 尖方向图和针尖清晰度图； 所述特征提取网络是 基于包含针状工具的图像样本、 以及所述图像样 本对应的多个特征真值图训练得到的， 本发明可 以基于训练得到的特征提取网络得到至少一个 特征图， 从而实现了对针 状工具特征的提取。 权利要求书2页 说明书12页 附图3页 CN 115294351 A 2022.11.04 CN 115294351 A 1.一种图像特 征提取方法， 其特 征在于， 包括： 获取针状工具的原 始图像； 将所述原 始图像输入至特 征提取网络中， 得到所述特 征提取网络 输出的多个特 征图； 其中， 所述多个特征图至少包括以下之一： 针尖点置信度图、 针尖轮廓图、 针尖方向图 和针尖清晰度图； 所述特征提取网络是基于包含针状工具的图像样本、 以及所述图像样本对应的多个特 征真值图训练得到的。 2.根据权利要求1所述的图像特征提取方法， 其特征在于， 所述特征提取网络包括多层 卷积网络和多任务网络， 所述多任务网络至少包括以下之一： 针尖点检测网络、 针尖轮廓提 取网络、 针尖方向检测网络和针尖清晰度检测网络； 所述将所述原始图像输入至特征提取网络中， 得到所述特征提取网络输出的多个特征 图， 包括： 将所述原始图像输入至所述多层卷积网络， 得到所述多层卷积网络输出的多个尺度的 特征图； 所述多个尺度的特 征图包括第一尺度特 征图、 第二尺度特 征图和第三尺度特 征图； 将所述第一尺度特征图、 第二尺度特征图和第三尺度特征图输入至所述多任务网络 中， 得到所述多任务网络 输出的多个特 征图。 3.根据权利要求2所述的图像特征提取方法， 其特征在于， 所述将所述第一尺度特征 图、 第二尺度特征图和第三尺度特征图输入至所述多任务网络中， 得到所述多任务网络输 出的多个特 征图， 包括以下至少一项： 将所述第一尺度 特征图、 第 二尺度特征图和第 三尺度特征图输入至所述针尖点检测网 络， 得到所述针尖点检测网络 输出的所述针尖点置信度图； 将所述第一尺度 特征图、 第 二尺度特征图和第 三尺度特征图输入至所述针尖轮廓 提取 网络， 得到所述针尖轮廓提取网络 输出的所述针尖轮廓图； 将所述第二尺度 特征图输入至所述针尖方向检测网络， 得到所述针尖方向检测网络输 出的所述针尖方向图； 将所述第一尺度 特征图输入至所述针尖清晰度检测网络， 得到所述针尖清晰度检测网 络输出的所述针尖清晰度图。 4.根据权利要求3所述的图像特征提取方法， 其特征在于， 所述将所述第 二尺度特征图 输入至所述针尖方向检测网络， 得到所述针尖方向检测网络 输出的所述针尖方向图， 包括： 将所述第二尺度特征图、 所述针尖轮廓图、 所述针尖点置信度图和所述第一尺度特征 图输入至所述针尖方向检测网络， 得到所述针尖方向检测网络 输出的所述针尖方向图。 5.根据权利要求3所述的图像特征提取方法， 其特征在于， 所述将所述第 一尺度特征图 输入至所述针尖清晰度检测网络， 得到所述针尖清晰度检测网络输出的所述针尖清晰度 图， 包括： 将所述第一尺度 特征图、 所述针尖轮廓图和所述针尖点置信度图输入至所述针尖清晰 度检测网络， 得到所述针尖清晰度检测网络 输出的所述针尖清晰度图。 6.根据权利要求1所述的图像特征提取方法， 其特征在于， 在所述将所述原始图像输入 至特征提取网络中， 得到所述特征提取网络输出 的多个特征图之后， 所述方法还包括以下 至少一项：权　利　要　求　书 1/2 页 2 CN 115294351 A 2基于所述针尖点置信度图确定所述针 状工具的针尖点的位置信息； 基于所述针尖轮廓图确定所述针 状工具的针尖轮廓点 集； 基于所述针尖点的位置信息， 在所述针尖方向图中确定所述针状工具的针尖方向向 量； 基于所述针尖点的位置信息， 在所述针尖清晰度图中确定所述针尖点的清晰度值。 7.根据权利要求1所述的图像特征提取方法， 其特征在于， 在所述将所述原始图像输入 至特征提取网络中， 得到所述特 征提取网络 输出的多个特 征图之前， 所述方法还 包括： 获取所述图像样本； 将所述图像样本输入至初始特征提取网络中， 得到所述初始特征提取网络输出的多个 特征样本图； 基于每个所述特 征样本图和对应的特 征真值图构建对应的损失子函数； 基于每个所述损失子函数确定目标损失函数； 基于所述目标损失函数对所述初始特征提取网络的参数进行迭代优化， 直至满足收敛 条件， 得到所述特 征提取网络 。 8.根据权利要求7所述的图像特征提取方法， 其特征在于， 所述多个特征样本图至少包 括以下之一： 针尖点置信度样本图、 针尖轮廓样本图、 针尖方向样本图和针尖清晰度样本 图； 所述特征真值图至少包括以下之一： 针尖点真值图、 针尖轮廓真值图、 针尖方向真值图 和针尖清晰度真值图。 9.一种图像特 征提取装置， 其特 征在于， 包括： 获取单元， 用于获取针 状工具的原 始图像； 提取单元， 用于将所述原始图像输入至特征提取网络中， 得到所述特征提取网络输出 的多个特 征图； 其中， 所述多个特征图至少包括以下之一： 针尖点置信度图、 针尖轮廓图、 针尖方向图 和针尖清晰度图； 所述特征提取网络是基于包含针状工具的图像样本、 以及所述图像样本对应的多个特 征真值图训练得到的。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至8任一项所 述图像特 征提取方法。 11.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至8任一项所述图像特 征提取方法。权　利　要　求　书 2/2 页 3 CN 115294351 A 3