(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210311386.2 (22)申请日 2022.03.28 (71)申请人 中国科学院光电技 术研究所 地址 610209 四川省成 都市双流3 50信箱 (72)发明人 江彧　杜芸彦　毛耀　李鸿　 杨锦辉　刘超　彭锦锦　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 邓治平 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Faster RCNN改进的少样本目标检测方 法 (57)摘要 本发明提供一种基于FasterRCNN改进的少 样本目标检测方法。 本发明在传统目标检测框架 FasterRCNN的基础上， 结合CBAM注意力模块、 全 局‑局部关系检测器以及基于余弦Softmax损失 的分类器对FasterRCNN进行了深度优 化和改进， 使其有利于少样本目标检测。 本发明将CBA M注意 力模块与FasterRCNN中的RPN网络相结合形成了 基于注意力机制的CB AM‑Attention ‑RPN网络， 有 助于生成特定类别的候选框， 提高后续网络的精 度。 本发明提出了全局 ‑局部关系检测器， 利用全 局关系和局部关系两种关系对支持图像特征和 查询图像特征进行特征匹配， 有助于得到与目标 类别更相关的候选框。 本发明提出了基于余弦 Softmax损失的分类器作为分类分支， 有助于降 低类内方差， 提高新类的检测精度。 权利要求书1页 说明书6页 附图2页 CN 114663707 A 2022.06.24 CN 114663707 A 1.一种基于Faster  RCNN改进的少样本目标检测方法， 其特 征在于， 包括以下的步骤： 步骤1： 将图像划分为支持集图像和查询集图像， 其中支持集图像为少量几张包含目标 样本的图像， 其中样本已被标注， 查询集包 含未标注的样本， 但其和支持集类别空间一 致； 步骤2： 将支持图像和查询图像输入权重共享的骨干网络进行特征提取， 支持图像提取 的特征定义为支持特 征图， 查询图像提取的特 征定义为查询特征图； 步骤3： 支持特征图和查询特征图分别通过CBAM(Convolutional  Block Attention   Module)注意力模块生成对应的注意力特征图后， 将得到的支持集注意力特征图进行均值 池化和深度卷积， 查询集注意力特征图进行深度卷积， 再将新得到的两个结果进行深度 互 相关生成最终的注意力特征图， 然后将注 意力特征图输入区域候选网络(Region  Proposal  Network,RPN)网络生成查询候选 框； 步骤4： 将支持集注意力特征图和其真实的标签框经过ROI  Pooling操作得到支 持目标 特征图， 再将查询集注意力 特征图和查询候选框经过ROI  Pooling操作得到查询候选框特 征图， 再将支持目标特征图和查询候选框特征图送入全局 ‑局部关系检测器进行特征匹配 计算， 以此 得到相似度高的查询候选 框特征图； 步骤5： 将相似度高的查询候选框送入回归分支和基于余弦Softmax损失的分类器对目 标对象进行定位和分类。 2.根据权利要求1所述的基于Faster  RCNN改进的少样本目标检测方法， 其特征在于， 步骤3中CB AM注意力模块与RPN网络相结合形成CB AM‑Attention ‑RPN网络， 支持特征图和查 询特征图先分别通过CBAM注 意力模块， 将得到的对应的注意力图进 行均值池化和深度卷积 操作， 再将得到的两个结果做深度互相关以生成最终的注意力特 征图。 3.根据权利要求1所述的基于Faster  RCNN改进的少样本目标检测方法， 其特征在于， 步骤4中提出的全局 ‑局部关系检测器， 将支持注意力特征图和查询注意力特征图分别经过 ROI Pooling操作后得到的支持目标特征图和查询候选框特征图进 行全局‑局部关系匹配， 即采用全局关系和局部 关系进行特征匹配， 计算两者相似度并留下相似度高的查询候选框 区域。 4.根据权利要求1所述的基于Faster  RCNN改进的少样本目标检测方法， 其特征在于， 步骤5中采用基于余弦Softmax损失的分类器替换原有的Softmax分类器作为其分类分支， 余弦Softmax损失如公式(3)所示， 其中， Lcos表示余弦Soft max损失； N是训练样本数， i＝{1,2, …,N}表示样本索引； C是类 别数， j＝{1,2, …,C}表示类别索引， α 表示比例因子， θyi,i和 θj,i分别表示权重W的第yi列和 第j列与第i个样本的输入特征xi之间的角度， yi表示xi对应的标签， Lcos以分类权重向量为 中心聚拢同类样本特 征， 降低了类内方差， 提高了对新类的检测精度。权　利　要　求　书 1/1 页 2 CN 114663707 A 2基于Faster RCNN改进的少样本目标 检测方法 技术领域 [0001]本发明涉及深度学习目标检测和少样本学习领域， 具体涉及一种基于Faster   RCNN改进的少样本目标检测方法。 背景技术 [0002]目标检测作为一个重要的计算机视觉任务， 旨在找出 图像中所感兴趣的目标， 确 定它们的位置和所属类别， 是许多其他计算机视觉任务的基础。 近年来， 随着强大的计算设 备、 大规模数据集以及先进的模型和算法的出现， 基于深度学习技术的目标检测得到了快 速发展， 并逐步取代传统的检测方法。 现在， 目标检测已广泛应用于许多实际应用中， 例如 自动驾驶、 机器人视觉、 视频监控等。 虽然现在有很多成熟的目标检测算法都得到了实际应 用， 但是其弊端也开始浮现， 其中一个较大 的问题就是较大多数成熟算法的应用都需要借 助于大规模的标注数据， 而在绝大多数 的实际应用场景中， 收集满足要求的标注数据是一 件十分耗费财力和物力的工作， 这不仅导致了应用场景单一、 覆盖任务单一等问题， 也极大 限制了目标检测方法的应用与推广， 因此如何利用较少的标注数据学习具有一定泛化能力 的模型成为了迫切研究的问题。 而少样本学习方法不依赖于大规模的训练样本， 从而避免 了在某些特定应用中数据准备的高昂成本， 其次少样本学习方法可以实现一个新兴任务的 低成本和快速的模型部署， 而这个任务只有几个暂时可用的样本， 这有利于阐明任务早期 的潜在规律。 基于此， 将少样本学习与目标检测进 行结合是十 分有必要的， 少样本学习可以 有效地解决目标检测中数据量不足的问题， 进一步推动目标检测的发展， 扩大其实际应用 的范围， 因此， 基于少样本学习的目标检测算法是 具有一定研究意 义的。 [0003]本发明就是将少样本学习方法和基于深度学习的目标检测算法Faster  RCNN相结 合， 构成基于少样本学习的目标检测方法， 使其能够仅使用少量的目标标注样本实现对目 标的目标检测。 发明内容 [0004]本发明要解决的技术问题是： 提供了一种基于Faster  RCNN改进的少样本目标检 测方法， 以解决在目标类别样本量不 足的情况下， 对目标对象进 行检测的问题， 实验证明本 发明提出的方法能够有效提高少样本情况 下对目标类别的检测精度。 [0005]本发明采用的技术方案如下： 基于Faster  RCNN改进的少样本目标检测方法， 包括 如下步骤： [0006]步骤1： 将图像划分为支持集图像和查询集图像， 其中支持集图像为少量几张包含 目标样本的图像， 其中样本已被标注， 查询集包含 未标注的样本， 但其和支持集类别空间一 致。 [0007]步骤2： 将支持图像和查询图像输入权重共享的骨干网络进行特征提取， 支持图像 提取的特 征定义为支持特 征图， 查询图像提取的特 征定义为查询特征图。 [0008]步骤3： 支持特征图和查询特征图分别通过CBAM注意力模块生成对应 的注意力特说　明　书 1/6 页 3 CN 114663707 A 3