(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346815.X (22)申请日 2022.03.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 刘兆英　贺俊然　张婷　张学思　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于轻量化卷积神经网络的红外船目 标显著性检测方法 (57)摘要 本发明公开一种基于轻量化卷积神经网络 的红外船目标显著性检测方法， 设计了一种轻量 化模块SimpleInceptionwithDilated(SIWD)， 旨 在减少参数的情况下通过空洞卷积实现感受野 的扩大， 同时对现有的经典网络进行精简， 实现 参数量的进一步减少， 并通过在上采样的过程中 应用两种不同的上采样结合SIWD模块弥补单一 上采样带来的缺陷。 本发明在参数量显著减少的 情况下实现了结果的提升。 另外， 针对缺少 红外 舰船显著性检测数据集的问题， 本发 明也构建了 一个包含3069幅红外 船目标图像的数据集。 本发 明可操作性、 可扩展性较强， 适用于海面背景的 红外船目标显著性检测。 权利要求书1页 说明书4页 附图4页 CN 114926629 A 2022.08.19 CN 114926629 A 1.一种基于轻量 化卷积神经网络的红外船目标显著性检测方法， 其特 征在于， 包括： 步骤1： 船目标数据 集处理； 提取视频中有代表性的图像， 使用l abelme软件标出目标船 的轮廓作为标签； 步骤2： 删减参数量最多的VGG16五层 结构中的第五层， 骨干网络由四个SWID构成， 即四 层结构模块， 分别标记为Si,i＝1,2,3,4每个结构模块的输出为Xi,i＝1,2,3,4， 上采样结构 模块为四个TBU， 分别标记为Ti,i＝1,2,3,4， 每个结构模块对 应的输出为Ui,i＝1,2,3,4， 其 中 最终的预测结果为O＝sigmoid(Conv(U4)),其中Ccat(f1,...,fn)为concat操作， 即将特 征f1,...,fn按通道拼接， Co nv为卷积 操作； 步骤3： 设计一个轻量化模块SIWD， 使用大小为1 ×3和3×1的卷积核代替3 ×3的卷积 核， 使用空洞卷积增大感受野； 轻量化模块SIWD包含四个 分支， 四个 分支中第一个 分支为一 个卷积核 大小为1×1空洞率为1的卷积层， 第二个 分支使用两个卷积核 大小分别为3 ×1和1 ×3， 空洞率为1的卷积层， 输入特征分别经过这两个卷积层然后逐点相加构成第二个分支 的输出， 第三个分支使用两个卷积核大小分别为3 ×1和1×3， 空洞率为3的卷积层， 输入特 征分别经过这两个卷积层然后逐点相加构成第三个分支的输出， 第四个分支使用两个卷积 核大小分别为3 ×1和1×3， 空洞率为5的卷积层， 输入特征分别经过这两个卷积层 然后逐点 相加构成第四个分支的输出， 将输入IS分别输入这四个分支的卷积层后， 将得到 的输出拼 接起来， 再通过一个点卷积层进行融合得到OL， 最后引入shortcut机制， 将输入IS和OL拼接 起来得到SI WD最后的输出OS， 过程表示 为： 其中 表示卷积核大小为x且空洞率为y的卷积操作， Aadd(f1,...,fn)代表将特征 f1,...,fn逐点相加， Bi为第i个分支的输出 特征； 步骤4： 上采样模块TBU包含两个分支， 第一个分支由一个SIWD和一个UpSampling组成， 第二个分支由一个SIWD和一个PixelShuffle组成； 首先将输入数据IT分别经过两个分支， 然后将两个分支的输出相加得到上采样最后的输出OTBU， 其过程表示 为 OTBU＝Aadd(Uup(SIWD(IT)),Pps(SIWD(IT)))        (4) 其中Uup(x)代表对x进行UpSampl ing操作,Pps(x)代表对x进行PixelShuf fle操作； 步骤5： 将TBU和SIWD结合步骤二所得到的骨干网络组成最终的网络， 训练数据顺序输 入到网络， 选择迭代次数、 学习率超参数， 并使用交叉熵损失函数和相似性结构损失之和作 为损失函数， 依据网络结果反向传播训练网络； 步骤6： 保存步骤4中训练好的上采样模块TBU， 用于测试。权　利　要　求　书 1/1 页 2 CN 114926629 A 2一种基于轻量化卷积神经 网络的红外船 目标显著性检测方 法 技术领域 [0001]本发明属于图像处理技术领域， 尤其涉及一种基于卷积神经网络的红外船目  标 显著性检测方法。 背景技术 [0002]红外图像因为隐蔽性好、 穿透性强、 不 受光照强弱的影响、 可以夜间工作等  优势， 因此， 红外成像技术广泛应用于民用和军事方面。 然而， 由于受到成像技  术及环境的影响， 红外图像通常对比度低、 信噪比低、 缺乏纹理信息、 灰度分布  不均匀， 且还有海面杂波、 岛 屿、 海草等影响， 使得红外图像分析与处理具有很  大的挑战性。 对于海上红外舰船目标图 像， 由于发动机、 烟囱等热源的影响， 舰  船目标通常呈现比较明显的视觉显著性， 因此， 显 著性目标检测成为了红外图像  分析处理的重要预处 理步骤。 [0003]传统的显著性目标检测方法主要是基于图像处理的方法， 该方法比较依赖于  人 工选择特征， 该类特征基于先验知识进行设计， 对不同场景 的适应能力较差，  面对复杂背 景的效果通常不能让人满意。 随着深度学习技术的迅猛 发展， 基于卷  积神经网络的方法也 被广泛应用于解决显著性 目标检测问题， 基于深度学习的方  法依赖于大量标注的数据集 进行学习， 自动提取深度特征， 克服了传统人工设计  特征的局限性， 而且对复杂场景 的识 别效果较好， 泛化能力较强， 然而， 目前大  部分基于深度学习的显著性 目标检测网络模型 是针对可见光图像设计的， 通常模  型比较复杂， 参数量较大。 由于缺少公开的红外目标数 据集， 基于深度学习的方  法在红外舰船目标显著 性检测中的应用还比较少， 另一方面由于 应用的需要， 红  外舰船显著性检测对算法的精度和速度都有比较高的要求， 因此， 研究一 种快速 的轻量化的红外舰船显著性目标检测方法具有重要的意 义和应用价 值。 。 [0004]现有的显著性检测模型大多数基于经典的VGG16网络基础上， 其通常为五  层模 型， 目的是提取数量 足够多， 感受野足够大， 表征能力强的特征。 然而海面  红外舰船图像由 于缺乏纹理、 颜色等信息， 实际上并不需要这么复杂的特征提取  网络， 因此， 本发明从以下 两个方面对模型进行改进， 设计一种 轻量化的快速的  显著性目标检测网络： 首先， 为了减 少参数量， 本发明对VGG16网络中参数量  最多的第五层网络进行删减， 将骨干网络 改为四 层模型， 从而降低模型参数量；  其次， 为了降低删减第五层网络带来的损失， 本发明设计了 一种新的轻量化模块  ——具有空洞卷积的简单植入模块(Simple  Inception  with  Dilated,SIWD)取代骨  干网络中的传统卷积网络， 通过使用两种不同的上采样与SIWD结合 以弥补单一  上采样带来的缺陷。 本发明兼具检测精度与实时性， 可操作性、 可扩展性 强， 适  应于海面背景的红外船显著性检测。 发明内容 [0005]本发明要解决的技术问题是， 提供一种基于轻量型卷积神经网络的红外船显  著 性检测方法， 用于海面红外舰船显著 性检测， 通过设计轻量化的模型满足显著  性检测所需 要的实时性与有效性。 为实现上述目的， 本发明采用如下技术方案：  针对基于深度学习的说　明　书 1/4 页 3 CN 114926629 A 3