(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211075136.X (22)申请日 2022.09.03 (71)申请人 哈尔滨工业大 学 （威海） 地址 264200 山东省威海市文化西路2号 (72)发明人 于海雁　郭玲　 (74)专利代理 机构 威海科星专利事务所 37202 专利代理师 初姣姣 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/28(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于直接引导掩码检测网络的近岸视觉船 舶目标检测方法 (57)摘要 本发明涉及近岸视觉目标检测技术领域， 具 体的说是一种能够满足实时监测需求、 有效提高 检测速率和准确率的基于直接引导掩码检测网 络的近岸视觉船舶目标检测方法， 通过端到端预 测船舶目标的前景掩码， 使模型直接关注于船舶 目标的整体特征， 对高度相似的局部特征作出区 分， 从而减弱相似背景特征的干扰。 在无语义分 割标签仅有边界框标签的弱监督条件下， GMN结 合目标掩码预测任务与目标检测任务， 通过弱监 督的方式在边界框检测的基础上进行了更细粒 度的船舶目标语义分割， 对目标尺度、 朝向、 背 景、 位置的变化具有鲁棒性， 实现了更精准的近 岸视觉船舶检测， 有效提高了视觉船舶检测系统 的检测速率， 满足了系统实时检测要求。 权利要求书2页 说明书9页 附图5页 CN 115439689 A 2022.12.06 CN 115439689 A 1.一种基于直接引导掩码检测网络的近岸视觉船舶目标检测方法， 其特征在于， 包括 以下步骤： 步骤1： 建立直接引导掩码网络模型， 具体为： 以anchor ‑free类型的YOLOX为基线， 输入 图像在经过主干网络提取特征后， 为了进 行掩码预测以增强模型对目标与背 景相似特征的 辨别能力， 将第二级降采样率为16的特征输入GuidedMask模块进行目标掩码与背景的分 割， 为了实现对背 景无关特征干扰的抑制， 增强对目标的定位能力， 将得到的掩码预测与主 干网络提取的其它两级特征输入Refining模块进行进一步特征优化， 优化后的特征通过 FPN(Feature  Pyramid Network)进行了语义融合， 通过anchor ‑free检测头对目标的位置 与分类进行回归以输出 船舶目标的边界框预测结果； 步骤2： 训练步骤1中建立的模型， 具体为： 步骤2‑1： 向模型输入图像， 对为了使得训练数据数量得到扩充并改善训练样本 中存在 的尺寸分布不均衡 问题， 将训练集上 的原始图像输入先进行实时数据增强， 在训练时每个 epoch都进 行随机数据增强预 处理， 对输入的图像进 行随机纵横比变换、 随机尺 寸变换相结 合的方式改善目标尺寸分布不均衡的问题， 进行随机平移使得目标位置分布多样化以提高 模型的定位能力， 并通过随机 色域变换与随机水平翻转相结合的方式提高模型的鲁棒性与 泛化能力； 步骤2‑2： 将进行数据增 强后的图像输入GMN主干网络进行基础特征提取， 对提取出的 特征依次通过GuidedMask模块进行引导掩码预测使得模型关注船舶目标整体特征与相 似 背景局部特 征作出区分； 步骤2‑3： 利用引导掩码通过Refining模块对特征进行加权以屏蔽无关背景特征的干 扰， 并且通过注意力机制增强船舶目标的关键特 征； 步骤2‑4： 对优化后的特征在 特征金字塔多尺度融合后进行anchor ‑free方式的边界框 检测， 对掩码预测损失、 检测损失进行梯度回传和参数优化， 根据损失是否 收敛判断结果， 若收敛则训练完毕， 若未收敛则重复训练过程； 步骤3： 利用步骤2训练获得的模型进行 船舶目标检测。 2.根据权利要求1所述的一种基于直接引导掩码检测网络的近岸 视觉船舶目标检测方 法， 其特征在于， 步骤3具体包括以下步骤： 将数据输入训练后的模型内， 利用主干网络进 行 特征提取， 然后进 行引导掩码预测处理、 背 景干扰抑制处理， 处理后的数据进 行关键特征增 强处理， 然后进行边界框检测处理， 此后再进行动态阈值语义掩码分割处理后， 输出边界框 与语义分割 结果， 其中得到边界框检测结果后， 结合边界框检测的类别信息与引导掩码结 果中的掩码信息， 在每个预测框内通过动态阈值的方法计算出船舶目标的语义分割 结果， 与固定阈值方法相比自适应性更强。 通过掩码预测任务与目标检测任务相结合， GMN在无需 语义掩码标注的弱监督信号下， 直接地利用了船舶目标的语义信息， 既实现了对背景干扰 特征的抑制， 又在边界框检测的基础之上进行了更细粒度、 更精准的视 觉船舶目标检测。 3.根据权利要求1所述的一种基于直接引导掩码检测网络的近岸 视觉船舶目标检测方 法， 其特征在于， 船舶目标区域掩码前景分割 与船舶目标边界框检测同时进行， 船舶目标区 域掩码预测在位置信息更丰富的低层特征中进行， 而船舶目标边界框检测则在经过FPN完 成不同感受野的多尺度特征融合后具有更多语义信息的高层特征中进行。 在训练时， 引导 掩码预测的损失函数为掩码预测结果与目标框标注生成的弱掩码标签的BCE(Binary  权　利　要　求　书 1/2 页 2 CN 115439689 A 2Cross Entropy)损失函数， 预测引导掩码使得模型关注于目标整体特征， 提升了模型对背 景局部相似特征的辨识能力， 在图中船舶目标前景预测中目标所在区域与背 景区域的概率 差值显著， 可通过简单 的二值化方式将船舶目标掩码从复杂的背景中提取出来， 船舶目标 掩码结合后续船舶目标检测任务预测结果中的类别信息和边界框信息， 实现了对于船舶目 标的语义分割， 达成了对船舶目标 更加精准的识别。 4.根据权利要求1所述的一种基于直接引导掩码检测网络的近岸 视觉船舶目标检测方 法， 其特征在于， 对于每一个检测到的船舶目标进 行了动态阈值语义分割， 其语义分割掩码 的计算如式1所示， Pmask为目标掩码概率， Pconf为目标检测结果的置信度， λ为系数设置为 0.8， 对于边界框内每处若目标检测置信度与目标掩码预测概率之积大于 λ加权的掩码概率 均值则保留该处为语义分割掩码， 训练的损失函数如式2所示由掩码预测任务的损失和目标检测的中心置信度、 回归、 分 类损失共同构成： Loss＝Lmask+Ldet                 (2) 5.根据权利要求1所述的一种基于直接引导掩码检测网络的近岸 视觉船舶目标检测方 法， 其特征在于， 为了有效地抑制无关背景特征的干扰， 增强目标的关键特征， Refining模 块使用预测的引导掩码对 特征进行约束， 结合SimAM注 意力机制进一步优化特征， 以提升了 模型的定位能力， 降低无关背景特征干扰， 通过Conv3 ×3对输入含有大量背景干扰的特征 进行调整， 再与GuidedMaskModule生成的前景掩码相乘进行加权以屏蔽无关背景特征干 扰， 将特征通过SimAM注意力机制进一步增强船舶目标的关键特征， 使用残差结构保证梯度 回传， 最后通过Co nv1×1调整后输出优化特 征。权　利　要　求　书 2/2 页 3 CN 115439689 A 3