(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210925327.4 (22)申请日 2022.08.03 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 张弘　王清可　袁丁　杨一帆　 李旭亮　沈天琦　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽　顾炜 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/778(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01) (54)发明名称 一种基于迁移学习的小样本军事车辆轻量 化检测方法 (57)摘要 本发明公开了一种基于迁移学习的小样本 军事车辆轻量化检测方法， 首先， 用轻量化模块 构建轻量级目标检测网络， 用大量已标注的民用 车辆数据训练网络模型， 得到基础模型； 接着， 以 民用车辆的表征先验知 识作为引导， 用少量军事 车辆样本对基础模型进行进一步的迁移学习， 使 网络学习对军事 车辆的检测能力， 获得最终的小 样本检测模型； 最后， 将小样本检测模型在嵌入 式计算平台上进行部署， 利用嵌入式端在线纠错 更新技术， 增强检测算法进行场景应用的灵活性 和鲁棒性。 这种方法采用的网络结构、 训练方式 设计合理， 针对军事车辆目标的检测 效果良好， 且算法能够满足在嵌入式平台上进行实时处理 的需求。 权利要求书2页 说明书10页 附图13页 CN 115439801 A 2022.12.06 CN 115439801 A 1.一种基于 迁移学习的小样本军事车辆轻量 化检测方法， 其特 征在于， 包括以下步骤： (1)将标注好的民用车辆检测数据集划分为训练集和测试集， 并对训练集和测试集进 行预处理， 其中民用车辆检测数据集的数据类型为彩色可 见光图像； (2)利用轻量化卷积模块和轻量化卷积瓶颈模块， 构建基于单阶段目标检测网络架构 的深度卷积神经网络， 该深度卷积神经网络依次包括主干网络、 特征融合网络和检测头三 部分； 主干网络实现对输入图像数据的快速特征提取， 输出浅层语义特征； 特征融合网络利 用主干网络输出 的浅层语义特征进行特征融合， 输出深层语义特征； 检测头通过特征融合 网络输出的深层语义特征进 行目标检测框的预测； 以大量的即每类别目标不少于1000个样 本的民用车辆数据对构建的深度卷积神经网络进 行训练， 使深度卷积神经网络学习民用车 辆的相关特征， 得到训练后的深度卷积神经网络， 称之为基础 模型， 基础 模型具有对民用车 辆准确检测的能力； (3)将标注好的军事车辆检测数据集划分为训练集和测试集， 并对训练集和测试集进 行预处理， 其中军事车辆检测数据集的数据类型为彩色可见光图像， 训练集为小样本数据 集； 小样本是指每 类别目标不多于 30个样本； (4)利用小样本的军事车辆检测数据， 利用小样本军事车辆训练数据集， 通过迁移学习 方法对步骤(2)训练得到的基础 模型进行进一步训练， 训练后得到深度卷积神经网络， 称之 为小样本检测模型， 该小样本检测模型拥有对军事车辆准确检测的能力； (5)将步骤(4)训练得到的小样本检测模型在嵌入式计算平台上进行部署， 利用嵌入式 端在线纠错更新技术， 使小样本检测模型能够纠正检测错误并不断更新优化， 得到一个针 对不同军事车辆目标能够不断纠错与更新的小样本检测模型， 此模型能够在嵌入式平台上 实现对军事车辆的准确 和快速检测。 2.根据权利要求1所述的基于迁移学习的小样本军事车辆轻量化检测方法， 其特征在 于： 所述步骤(2)中的轻量 化卷积模块如下： 轻量化卷积模块的参数有轻量化卷积模块输出特征图通道数C、 卷积核尺寸K及步长S； 轻量化卷积模块由两层卷积层组成， 第一个卷积层的卷积核大小为K ×K、 卷积步长为S、 输 出特征图通道数为C/2、 激活函数为SiLU函数； 第二个卷积层的卷积核大小为5 ×5、 卷积步 长为1、 输出特征图通道数为C/2、 分组数为C/2， 激活函数为SiLU函数； 该轻量化卷积模块的 输入数据分别经过第一和 第二个卷积层计算后， 所得结果与输入数据经过第一个卷积层计 算后所得结果在通道维度上拼接， 拼接结果 为轻量化卷积模块的输出。 3.根据权利要求1所述的基于迁移学习的小样本军事车辆轻量化检测方法， 其特征是， 所述步骤(2)中， 轻量化卷积瓶颈模块由主干部 分与旁支部 分组成， 其参数有轻量化卷积瓶 颈模块输出通道数C、 瓶颈层数量N； 所述主干部分先后由1个卷积层、 N个瓶颈层和1个卷积 层组成， 第一个卷积层中卷积核尺寸为1 ×1、 步长为1、 输出特征图通道数为C/2， 瓶颈层的 输出特征图通道数为C/2， 第二个卷积层中卷积核尺 寸为1×1、 步长为1、 输出特征图通道数 为C； 旁支部分为1个卷积核尺寸为1 ×1、 步长为1、 输出特征图通道数为C/2的卷积层； 输入 数据分别输入到主干部 分和旁支部 分， 旁支部 分的输出与主干部分瓶颈层的计算结果在通 道维度上进行拼接， 拼接结果通过主干部分最后一个卷积层进行计算， 计算结果为轻量化 卷积瓶颈模块的输出。 4.根据权利要求1所述的基于迁移学习的小样本军事车辆轻量化检测方法， 其特征是，权　利　要　求　书 1/2 页 2 CN 115439801 A 2所述步骤(4)中， 迁移学习方法实现包括两个阶段： (1)在第一阶段， 首先用大量民用车辆检测数据训练一个基础模型， 训练方案如下： 采 用随机梯度下降优化器； 采用 的数据增强预处理方法有HSV色彩增强、 随机裁剪翻转和 Mosaic增强； 其它训练超参数如下： 初始学习率为0.01、 终止学习率系数为0.2、 动量为 0.937、 学习率衰减 方案为余弦下降、 预热3个周期、 总训练周期数为100； 输入 数据从主干网 络输入， 经过主干网络、 特征融合网络和检测头三部 分计算后获得检测结果， 将检测结果与 目标标签进行比对计算网络损失， 再根据PyTorch深度学习框架的自动求导机制 进行反向 传播更新网络参数， 更新范围包括网络的所有部分， 完成设定的训练周期数后保存基础模 型； (2)在第二阶段， 用小样本军事车辆检测数据进行迁移学习； 该阶段的训练方案在基础 模型的训练方案上进 行调整， 以适应小样本学习的特点和需要； 为防止造成过拟合， 调整初 始学习率为0.001、 终止学习率系数为0.02、 总训练周期数为30； 训练开始时， 加载基础模 型 的网络参数和小样本的军事车辆检测数据， 用PyTorch深度学习框架冻结主干网络和特征 融合网络的权重参数； 训练 时输入军事 车辆待检测图像， 经过主干网络、 特征融合网络和检 测头三部分计算后获得检测结果， 将检测结果与数据标签进行比对计算网络损失， 再根据 PyTorch框架的自动求导机制进行反向传播更新网络参数， 由于先前结构的权重参数被冻 结， 更新范围仅包括检测头的权重参数， 完成设定的训练周期数后保存最终的小样本检测 模型。 5.根据权利要求1所述的基于迁移学习的小样本军事车辆轻量化检测方法， 其特征是， 所述步骤(5)中， 嵌入式端在线纠错更新 技术包括两个步骤： (1)基于冗余备份进行在线纠错： 按照冗余备份的原则， 利用多种训练配置， 包括选择 不同的模型初始化方法、 不同的优化器及不同的训练批量大小， 制 定不同的组合配置方式 进行模型训练， 为一类目标训练多个冗余备份的检测头； 当某一检测头对应的输出结果出 现错误时， 通过外部指令对检测头进行在线切换， 使用备份中参数有所不同的检测头进行 替换并重新检测， 从而纠正当前检测头的输出错 误； (2)基于难例挖掘进行在线更新： 当基于冗余备份的在线纠错方法无法正确检测目标 时， 将利用难例挖掘的在 线更新方法对 出现识别错误的检测头进 行参数更新， 具体为首先， 将人工修正后的错误样例作为困难样本， 增加困难样本的训练权重， 减少易检测样本的训 练权重， 使小样 本检测模型在训练 时更侧重于对错误样例的学习和更新； 其次， 冻结小样本 检测模型中主干网络和特征融合网络的参数， 对这部 分模型参数不 予更新； 最后， 在嵌入式 设备上对检测头进 行训练， 包括反向传播、 梯度计算与参数更新等训练步骤， 实现小样 本检 测模型的快速在线更新， 使得小样本检测模型对学习过的样例进行检测时不再 出错。权　利　要　求　书 2/2 页 3 CN 115439801 A 3