(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357394.0 (22)申请日 2022.04.06 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 张晓峰　欧垚君　陈哲　王梅　 丁红　施正阳　陶秦　魏东　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 张俊俊 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于图像注意力加权池化的室外地点 重识别方法 (57)摘要 本发明提供了一种基于图像注意力加权池 化的室外地点重识别方法， 属于计算机视觉深度 学习技术领域。 解决了室外场景下地点重识别任 务容易受到动态物体干扰的问题。 其技术方案 为： 包括以下步骤： 步骤一、 从卷积神经网络提取 特征图； 步骤二、 显著性区域的检测； 步骤三、 生 成图像注 意力； 步骤四、 损失函数计算损失。 本发 明的有益效果为： 本发明检测图片最显著的部分 同时抑制动态物 体的干扰； 在室外场景下能提取 鲁棒性更强的图像全局特 征， 减少误匹配 。 权利要求书2页 说明书5页 附图2页 CN 114743101 A 2022.07.12 CN 114743101 A 1.一种基于图像注意力加权池化的室外地 点重识别方法， 其特 征在于， 包括以下步骤： 步骤一、 从卷积神经网络提取 特征图 通过预训练的卷积神经网络模型对输入图片进行特征的提取， 卷积神经网络模型由卷 积层、 激活层、 池化层和全连接层组成； 卷积层嵌入空间信息， 由卷积层输出 的特征图被看 作是卷积核在图像中提取到的特征描述子， 把图像输入卷积神经网络模型后， 在进行全连 接操作之前输出， 得到维度为W ×H×C的特征图， W和H 分别为特征图的宽和高， C为特征图的 通道数， 把这个特征图看作是多个图像描述子的集合F， 其中， 每个特征描述子的维度为C， 总共有W×H个特征， 其中， 每 个描述子代 表输入图像中一个区域的感受野， 如下公式： F＝{fi∈RC|i{1， ...， W×H}}   (1)； 步骤二、 显著性区域的检测 通过步骤一处理得到 图像局部描述子的集合F， 卷积神经网络模型对图像的每个均匀 的区域提取对应的描述子， 单个局部描述子不能代表图像中具有代表性的建筑或物体， 它 是地标的其中一部 分或者是某些不具有代表性的空间信息， 从局部描述子中检测出具有代 表性的显著性区域； 描述子集合F包含了在单一尺度的刚性网格下图像的感受野， 描述子提取的过程中， 卷 积核平均对图像进行提取， 该过程并没有考虑到物体信息是否被完整地提取到同一个局部 描述子中， 在图像中划分多个尺度的空间 网格并提取不同感受野下的特 征； 特征图中的激活值是图像经过卷积操作后得到的检测分数， 特征图中的非零值代表着 感受野中的语义信息， 当激活值越大， 该区域的视觉信息就越显著， 通过这个观察， 假设激 活值越大， 该区域的显著性越强， 除了检测区域空间信息强度的大小之外， 要检测空间信息 之间的关联性， 把候选区域定义为 非零激活值之间的的8连通区域， 考虑图像的空间信息强 度， 把各个激活值对应的感受野区域联系在一 起形成显著区域； 划分非零激活值的8连通区域得到S， 其中， M代表候选区域的数量， 对于每个候选区域 S， 计算S的激活值的平均值， 保留平均值 最大的N个区域得到 显著区域K； Kj＝{Si|Ai＞t， i∈{1， . ..， M}， j∈{1， . ..， N}}  (3) 其中， 公式(2)计算所有候选区域的平均激活值， 公式(3)通过显著性 阈值t确定了显著 区域集合K； 步骤三、 生成图像注意力 步骤二通过分析非零激活值的连通 区域获得显著区域K把任务不相关的信 息嵌入到特 征里， 对K进一步处理， 使显著区域与注意力权值进行特征融合， 对任务无关的特征分配更 低的权重； 注意力模块设置在卷积神经网络输出的特征图之后， 由三个不同尺寸的卷积核和一个 跨通道融合的卷积核组成， 使用不同尺寸的卷积核产生不同的视觉感受野， 对多种尺度的 空间信息以及边缘进行检测并提取， 特征图的激活值经过多尺度提取后， 在通道上连接起 来得到新的W ×H×P的激活图， 其中， P为通道数的总和， 使用一个跨通道的卷积核对多尺度 特征融合 成权值， 通过反向传播让跨通道卷积核 学习各个通道之间的融合参数， 公式(4)阐 述了注意力图m的生成：权　利　要　求　书 1/2 页 2 CN 114743101 A 2其中， wP为激活图的第p个通道的融合因子， c为偏置值， 是通过训练过程学习获得； 为新的激活值图中第p个通道上的第i个值， 在获得图像注意力m之后， 对显著区域的局部特 征进行加权融合获得全局特 征Fg: 步骤四、 损失函数计算损失 三元组损失函数用于地点识别任务， 对于查询图像Iq， 选择与其匹配的图像 和非匹配 的图像 组成一个图像三元组， 通过三元组损失函数对参数的学习和调整， 让查询图片在 特征空间的表示上接近正参考图像 的同时与负参考图像 的距离更远， 在训练期间， 训 练查询图像It， 负样本图像 和正样本图像 将会组成一个三元组被输送到网络中， 并且计 算损失L： 其中， Fg(·)为计算图像I的全局描述符的操作表示， δ为It与 的距离和It与 的距离 之间的最小间隔， 在最小化三元组损失后， 网络区分图像中哪些部 分是显著 性区域， 并分配 更高的权 重； 同时对动态 物体和冗余的图像部分 分配更低的权 重。权　利　要　求　书 2/2 页 3 CN 114743101 A 3