(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210648317.0 (22)申请日 2022.06.09 (71)申请人 山东财经大学 地址 250014 山东省济南市历下区二环东 路7366号 (72)发明人 高珊珊　张晨昊　毛德乾　刘峥　 迟静　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06V 10/75(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 显著性目标检测方法及系统 (57)摘要 本发明公开了显著 性目标检测方法及系统； 其中， 所述方法包括： 获取待处理的原始图像； 对 待处理的原始图像进行特征提取； 将特征提取结 果输入到训练后的显著性目标检测模 型中， 输出 最终的显著性目标预测结果； 其中， 显著性目标 检测模型的工作原理包括： 对提取的特征进行动 态尺度感知， 得到显著目标的初始预测显著图； 基于待处理原始 图像和显著目标的初始预测显 著图， 利用难样本采样优化模块进行优化， 得到 显著目标的最终预测结果。 按照人工标注真值图 的思路， 首先定位显著目标， 其次处理难样本问 题。 权利要求书3页 说明书8页 附图3页 CN 114926657 A 2022.08.19 CN 114926657 A 1.显著性目标检测方法， 其特 征是， 包括： 获取待处 理的原始图像； 对待处理的原始图像进行 特征提取； 将特征提取结果输入到训练后的显著性目标检测模型中， 输出最终的显著性目标预测 结果； 其中， 显著性目标检测模型的工作原 理包括： 对提取的特征进行动态尺度感知， 得到显 著目标的初始预测显著图； 基于待处理原始图像和显著目标的初始预测显著图， 利用难样 本采样优化模块进行优化， 得到 显著目标的最终预测结果。 2.如权利要求1所述的显著性目标检测方法， 其特征是， 所述显著性目标检测模型， 包 括： 动态尺度感知模块和难样本采样优化模块； 其中， 动态尺度感知模块， 包括： 若干个依次连接的残差神经网络， 和若干个依次连接 的自适应尺度模块； 每个残差神经网络与对应的自适应尺度模块通过卷积模块进行连接； 每个卷积模块还与相 邻的自适应尺度模块连接； 第一残差神经网络的输入端用于输入待处 理的原始图像； 第五自适应尺度模块的输出端用于 输出显著目标的初始预测显著图； 所述难样本采样优化模块， 包括： 依次连接的编码器和采样单元； 所述采样单元的输出 端与若干个并联分支连接； 所有并联分支的输出端均与第六卷积模块的输入端连接； 第六 卷积模块的输出端用于 输出显著目标的最终预测结果。 3.如权利要求2所述的显著性目标检测方法， 其特征是， 所述自适应尺度模块， 包括： 依 次连接的第一加法器、 第八卷积模块、 并联的若干支路、 第二加法器和第九卷积模块； 所述 并联的若干支路包括 n+2个支路； 其中， 第一个支路， 为Gate_Conv模块， 该模块根据尺度变化的不 同目标生成不同的特 征融合权重， 其中包括依次连接的卷积层、 自适应池化层、 Tanh激活函数层和ReLU激活函数 层； 其中， 第二个支路， 包括： 依次连接的平均池化层、 第十卷积模块和乘法器； 其中， 第三个 支路到第n+1个支路均包括： 依次连接的平均池化层、 第十一卷积模块和乘法器； 每个乘法 器的输入端均与Gate_Conv模块的输出端连接； 其中， 第n+2个支路， 包括I dentity分支， 该 分支将特 征图恒等映射， 保留原特 征图的语义信息 。 4.如权利要求2所述的显著性目标检测方法， 其特征是， 所述动态尺度感知模块， 工作 原理包括： 为不同尺寸的显著目标生成相应的特征融合权重， 根据自适应生 成的权重系数， 指导同一特征生成不同尺度视角并进 行多尺度信息聚合， 得到在相应尺度判别性更强的特 征映射。 5.如权利要求1所述的显著性目标检测方法， 其特征是， 所述难样本采样优化模块， 工 作原理包括： 假设确定性误差设置为Ece， 对于显著性目标检测任务来说， 显著值为[0,Ece)和(1‑Ece, 1]的像素为置信的易分样本， 其 他显著值 为[Ece,1‑Ece]的像素则为难样本； 通过对难样本以及设定范围内的置信度高于设定阈值的显著样本和置信度高于设定 阈值的背景样本进行随机采样； 使用残差神经网络提取对应位置在原始图像和显著图中的特征； 根据位置信 息利用图 注意力机制对 采样得到的样本建立图表示， 并在图上传播和融合特 征； 对融合特 征进行分类， 得到 显著目标的最终预测结果。权　利　要　求　书 1/3 页 2 CN 114926657 A 26.如权利要求5所述的显著性目标检测方法， 其特征是， 所述通过对难样本以及 设定范 围内的置信度高于 设定阈值的显著样本和置信度高于设定阈值的背景样本进 行随机采样； 具体包括： 首先将初始预测显著图分解 为可信背景图、 可信显著图和难样本图； 为了使高置信度样本接近不确定区域， 对初始预测显著图中的不确定区域执行平均池 化操作， 得到的图像称为引导图； 并将引导图乘以高置信区域， 以增加在不确定区域附近的 采样概率； 假设输入初始预测显著图 中所有像素的数量 为： nnode＝H×W， 其中， H和W表示初始预测显著图的高度和宽度； 根据可信背景的引导图、 可信显著目标的引导图和难样本 图， 对样本像素进行随机采 样， 得到ncb个可信背景样本、 ncs个可信显著样本和nhard个难样本的空间位置索引， 所以采样 得到的样本总数为： nsampled＝nhard+ncs+ncb； 通过多次采样以获得不同的结果。 7.如权利要求5所述的显著性目标检测方法， 其特征是， 所述使用残差神经网络提取对 应位置在原始图像和显著图中的特征； 根据位置信息利用图注意力机制对采样得到的样本 建立图表示， 并在图上传播和融合特 征； 具体包括： 使用残差神经网络提取对应位置在原 始图像和显著图中的特 征； 建立图表示： 首 先将所有像素视为节点， 并展平空间维度； 在图表示中， 输入特 征从C×H×W转换为C×nnode， 其中每个节点具有C维特 征； 对于每个采样得到的节点， 找到其k个最近的采样得到的节点， 并生成从邻居节点到 中 心节点的有向边， 同时为每 个节点添加自环； 因此， 图中的边表示 为 由此， 获得图表示G＝(N,E)； 图推理： 通过图注意层中的自注意力机制， 根据两个节点的特 征动态地学习权 重向量； 或者， 所述训练后的显著性目标检测模型； 具体训练过程包括： 构建训练集， 所述训练集 为已知显著性目标检测结果的图像； 将训练集输入到显著性目标检测模型中， 对模型进行训练， 当总损 失函数达到最小值 时， 停止训练， 得到训练后的显著性目标检测模型； 所述总损失函数使用显著性目标检测中二元交叉熵损失和交并比损失来训练模型， 并 为不同的输出设置不同的权重； 其中二元交叉熵损失在像素层面对预测结果进行约束， 而 交并比损失从区域层面出发， 衡量预测结果和真值图之间的距离 。 8.显著性目标检测系统， 其特 征是， 包括： 获取模块， 其被 配置为： 获取待处 理的原始图像； 特征提取模块， 其被 配置为： 对待处 理的原始图像进行 特征提取； 输出模块， 其被配置为： 将特征提取结果输入到训练后的显著性目标检测模型中， 输出 最终的显著性目标 预测结果； 其中， 显著性目标检测模型的工作原 理包括： 对提取的特征进行动态尺度感知， 得到显权　利　要　求　书 2/3 页 3 CN 114926657 A 3