(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155350.6 (22)申请日 2022.09.22 (71)申请人 福建万福 信息技术有限公司 地址 350108 福建省福州市闽侯县上街 镇 科技东路万能大楼7层709单 元 (72)发明人 刘明　孙祥胜　任飞　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 李晓芬 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种小样本目标检测的方法、 系统、 设备和 存储介质 (57)摘要 本发明涉及一种小样 本目标检测的方法， 包 括以下步骤： 建立目标检测模型； 利用公共数据 集对目标检测模 型进行初步训练， 在初步训练完 成后加入包含目标对象图像的小样本数据集对 目标检测模型进行微调训练； 在进行微调训练 时， 从整体数据集中采样若干支持图像和查询图 像； 随机选择一包含c类别目标对象的查询图像 Qc， 支持图像Sc， 和不同于c类别的支持图像Sn， 形成训练三元组； 将训练三元 组输入至目标检测 模型中， 获取目标框， 计算目标框的边界框损失， 并通过目标检测模型判断输入的查询图像与哪 一支持图像匹配， 根据目标检测模 型输出的匹配 结果计算匹配损失， 对目标检测模 型进行迭代训 练； 利用训练好的小样本目标检测模 型进行目标 检测。 权利要求书3页 说明书8页 附图1页 CN 115546470 A 2022.12.30 CN 115546470 A 1.一种小样本目标检测的方法， 其特 征在于， 包括以下步骤： 建立目标检测模型； 利用公共数据集对目标检测模型进行初步训练， 在初步训练完成后加入包含目标对象 图像的小样本数据集对目标检测模型进行微调训练； 其中， 所述小样本训练集与公共数据 集之间没有交叉部分； 在进行微调训练时， 从加入小样本数据集后的整体数据集中采样若干支持图像和查询 图像， 生成支持样本集和查询样本集； 随机选择查询样本集中的一包含c类别目标对象的查询图像Qc， 以及包含c类别目标对 象的支持图像Sc， 另取一包含不同于c类别目标对象的支持图像Sn， 形成训练三元组， 在训 练三元组中， 将查询图像Qc中的c类别目标对象标记 为前景， 所有其他目标对象都标记 为背 景； 将训练三元组输入至目标检测模型中进行特征提取， 获取训练三元组中每一图像的目 标框， 计算 目标框的边界框损失， 并通过目标检测模型判断输入的查询图像Qc与哪一支持 图像匹配， 根据目标检测模型输出 的匹配结果计算匹配损失， 结合边界框损失和匹配损失 对目标检测模型进行迭代训练， 得到训练好的小样本目标检测模型； 利用训练好的小样本目标检测模型进行目标检测。 2.根据权利要求1所述的一种小样本目标检测的方法， 其特 征在于： 所述目标检测模型基于F aster‑RCNN网络建立， 包括backbone网络、 RPN 网络以及Roi池 化操作模块， 并在backbone网络和RPN网络之间加入前景增强网络模块以及 空间注意力模 块； 以及在Roi池化操作模块的后端加入一个空间注意力模块； 所述前景增强网络模块用于对输入图像进行前景注意力特征提取； 所述空间注意力模 块用于对输入图像进行空间注意力提取。 3.根据权利要求2所述的一种 小样本目标检测的方法， 其特征在于， 所述将训练三元组 输入至目标检测模型中进行 特征提取的步骤具体为： 采用ResNet50预训练模型作为backbone网络， 输入查询图像Qc、 支持图像Sc和支持图 像Sn， 提取输入图像的基本特 征， 得到支持图像特 征图和查询图像特 征图； 将支持图像特征图输入至前景增强网络模块， 提取前景注意力特征， 获得第 一特征图， 再将第一特 征图与输入的支持图像特 征图进行广播像素相加得到第二特 征图； 将查询图像特征图输入至空间注意力模块， 提取空间注意力特征， 得到一幅存在负数、 零或正数的第三特征图； 将第三特征图输入到sigmoid函数进行激活运算， 得到第四特征 图， 将第四特 征图与输入的查询图像特 征图进行加权融合， 得到第五特 征图； 将第二特 征图和第五特 征图输入至RPN网络， 生成目标候选 框； 将目标候选 框输入至Ro i池化操作模块， 得到Ro i特征图； 将Roi特征图输入至空间注意力模块， 提取空间注意力特征， 得到最终特征图， 对最终 特征图进行分类和坐标回归， 得到预测结果， 预测结果包括 目标框的位置信息以及 匹配结 果。 4.根据权利要求1所述的一种 小样本目标检测的方法， 其特征在于， 在根据目标检测模 型输出的匹配结果计算匹配损失， 结合边界框损失和匹配损失对目标检测模型进 行迭代训 练的过程中：权　利　要　求　书 1/3 页 2 CN 115546470 A 2将支持图像Sn作为负样本， 支持图像Sc作为正样本， 进行四种配对， 分别是正样本和前 景目标框形成的第一正支持对， 正样本和背 景目标框形成的第二正支持对， 负样本和前景、 背景目标框形成的负支持对； 在训练过程中， 根据目标检测模型输出的匹配结果选择N对第一正支持对， 2N对第二正 支持对以及N对负支持对， 并计算所选对的匹配损失。 5.一种小样本目标检测的系统， 其特 征在于， 包括： 模型建立模块， 用于建立目标检测模型； 初步训练模块， 用于利用公共数据集对目标检测模型进行初步训练， 在初步训练完成 后加入包含目标对 象图像的小样本数据集对目标检测模型进行微调训练； 其中， 所述小样 本训练集与公共数据集之间没有交叉部分； 样本生成模块， 用于在进行微调训练时， 从加入小样本数据集后的整体数据集中采样 若干支持图像和查询图像， 生成支持样本集和查询样本集； 三元组生成模块， 用于随机选择查询样本集中的一包含c类别目标对象的查询图像Qc， 以及包含c类别目标对象的支持图像Sc， 另取一包含不同于c类别目标对象的支持图像Sn， 形成训练三元组， 在训练三元组中， 将查询图像Qc中的c类别目标对象标记为前景， 所有其 他目标对象都标记为背景； 微调训练模块， 用于将训练三元组输入至目标检测模型中进行特征提取， 获取训练三 元组中每一图像的目标框， 计算 目标框的边界框损失， 并通过目标检测模型判断输入的查 询图像Qc与哪一支持图像匹配， 根据目标检测模型输出 的匹配结果计算匹配损失， 结合边 界框损失和匹配损失对目标检测模型进行迭代训练， 得到训练好的小样本目标检测模型； 检测模块， 用于利用训练好的小样本目标检测模型进行目标检测。 6.根据权利要求1所述的一种小样本目标检测的系统， 其特 征在于： 所述目标检测模型基于F aster‑RCNN网络建立， 包括backbone网络、 RPN 网络以及Roi池 化操作模块， 并在backbone网络和RPN网络之间加入前景增强网络模块以及 空间注意力模 块； 以及在Roi池化操作模块的后端加入一个空间注意力模块； 所述前景增强网络模块用于对输入图像进行前景注意力特征提取； 所述空间注意力模 块用于对输入图像进行空间注意力提取。 7.根据权利要求6所述的一种 小样本目标检测的系统， 其特征在于， 所述微调训练模块 中包括： 基本特征提取单元， 采用ResNet50预训练模型作为backbone网络， 输入查询图像Qc、 支 持图像Sc和支持图像Sn， 提取输入图像的基本特征， 得到支持图像特征图和查询图像特征 图； 前景增强单元， 用于将支持图像特征图输入至前景增强网络模块， 提取前景注意力特 征， 获得第一特征图， 再将第一特征图与输入的支持图像特征图进行广播像素相加得到第 二特征图； 第一空间注意力提取单元， 用于将查询图像特征图输入至空间注意力模块， 提取空间 注意力特征， 得到一幅存在负数、 零或正数的第三特征图； 将第三特征图输入到sigmoid函 数进行激活运算， 得到第四特征图， 将第四特征图与输入的查询图像特征图进 行加权融合， 得到第五特 征图；权　利　要　求　书 2/3 页 3 CN 115546470 A 3