(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643405.1 (22)申请日 2022.06.08 (71)申请人 华南理工大 学 地址 510000 广东省广州市天河区五山路 (72)发明人 任莎莎　张晓东　 (74)专利代理 机构 合肥市科融知识产权代理事 务所(普通 合伙) 34126 专利代理师 李慧 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/11(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种小目标特 征增强图像分割方法及系统 (57)摘要 本发明适用于图像处理技术领域， 尤其涉及 一种小目标特征增强图像分割方法及系统， 在本 方法中， 在图像场景分割中存在小目标易丢失， 边缘轮廓噪声大等问题， 在目前的增强特征表征 能力与优化空间细节的语义分割算法中， 由于边 缘和小目标特征的丢失， 导致小目标和边缘很难 被准确分割， 为此， 本发明提供了一种小目标特 征增强的图像 分割方法： 一种像素空间注意力模 块， 此模块可以获得空间像素具有较强语义信息 的特征图像。 通过对PA M的输出与主干网络融合， 能提高图像的小目标、 边缘分割能力， 使主干网 络输出分割精度提高。 权利要求书3页 说明书12页 附图5页 CN 114937148 A 2022.08.23 CN 114937148 A 1.一种小目标 特征增强图像分割方法， 其特 征在于， 所述方法包括： 将待处理图像输入到主干网络中， 得到主干网络特征， 所述主干网络特征包括主干网 络第一层特 征， 主干网络第二层特 征， 主干网络第三层特 征和主干网络第四层特 征； 将主干网络第四层特 征输入到AS PP模块， 得到AS PP特征输出特征； 将ASPP特征输出特征和主干网络第一层特征同时输入至像素空间注意力模块PAM， 得 到像素空间特 征； 将像素空间特征同时输入到小目标提取模块TTE和边缘特征提取模块EEM中， 分别得到 小目标特征和边缘特征； 将主干网络第一层特 征、 ASPP特征输出特征、 小目标 特征和边缘特征进行融合输出。 2.根据权利要求1所述的小目标特征增强图像分割方法， 其特征在于， 通过小目标实况 图对小目标 特征进行监 督学习， 所述 监督学习过程采用小目标损失函数Ltiny： 其中 为像素j处的标签分配概 率分布， yj为实况图标签。 3.根据权利要求2所述的小目标特征增强图像分割方法， 其特征在于， 采用边缘损失函 数Ledge对边缘特征进行进行监 督， Ledge定义如下： 4.根据权利要求3所述的小目标特征增强图像分割方法， 其特征在于， 采用分割损失函 数Lseg对主干网络分割过程进行监 督， 分割损失函数Lseg表示为： 其中 为像素j处的标签分配概 率分布， yj为GT标签。 5.根据权利要求4所述的小目标特征增强图像分割方法， 其特征在于， 网络建模中的总 损失表示 为： 其中， Ltotal为总损失函数， Lseg为分割损失函数， Ltiny为小目标损失函数， Ledge为边缘损 失函数， 为网络超参数， 为分割损失权重系数， 为小目标损失权重系数， 为边缘损失的权 重系数。 6.根据权利要求1所述的小目标特征增强图像分割方法， 其特征在于， 所述得到像素空 间特征的步骤， 具体包括： 将不同膨胀率ASPP输出的高层特征yASPP∈RW×H×C和主干网络第一 层特征yres1∈RW×H×C作为输入， 其中C表示通道维数， WxH表示空间分辨率， 并使yASPP与yres1的权　利　要　求　书 1/3 页 2 CN 114937148 A 2特征分辨率一致， 高层特征每个通道经过全局平均池化和 最大池化， 然后经过共享网络产 生通道注意力映射图， 该共享网络是 由两个全连接层以及激活函数组成多层感知网络， 隐 含层激活函数尺度设置为R(C×1×1)/r， r为通道降低率， 然后通过元 素求和合并两个输出， 对再进行全局池化操作， 得到2个维度的特征， 分别为 和 进行 合并， 输入到单层感知操作， 具体过程如下： 其中， 符号||表示卷积拼接操作， 对通道注意力和空间注意力进行特征融合， 融合特征 经过归一化BN输出： PAM(yASPP， yres1)＝BN(yASPP+YC+YS)， +表示像素级相加。 7.根据权利要求1所述的小目标特征增强图像分割方法， 其特征在于， 通过边缘提取模 块EEM得到边缘特征yedge的步骤， 具体包括： 将由PAM模块的输出经卷积为K个通道的特征图 M∈RW×H×K， 对M进行argm ax操作， 获得K个类别的标签图， 进行梯度变换 得到K个边缘掩膜 版 经归一化操作后， 将其与K个通道的特征M∈RW×H×K相乘， 得到含有语义 类别的边 缘特征图B∈RW×H×K， 其中K属于类别个数， 在本步骤中： 8.根据权利要求1所述的小目标特征增强图像分割方法， 其特征在于， 通过小目标提取 模块TTE得到小目标特征ytiny的步骤， 具体包括： 对PAM模块输出的特征图中每一个 目标像 素数进行统计分析并对其进行排序， 通过设置阈值tv， 目标像素数依次与最大目标像素数 相对比， 小于预设值时， 默认此为特 征图的小目标， 用小目标掩膜版， 得到小目标 特征图。 9.根据权利要求1所述的小目标特征增强图像分割方法， 其特征在于， 所述将主干网络 第一层特征、 ASPP特征输出特征、 小目标特征和边缘特征进 行融合输出的步骤中， 采用的公 式如下： y＝yres1+yASPP+yedge+ytiny， 其中， y为融合输出结果， yres1为主干网络第一层特征， yASPP为ASPP特征输出特征， ytiny 为小目标特征， yedge为边缘特征， 对yres1、 yASPP、 ytiny和yedge均使用1x 1的卷积进行降维， 使所 有特征维度与yres1输出维度一致， 对所有特征进行上采样， 恢复到 统一分辨率， 再进行像素 级叠加。 10.一种小目标 特征增强图像分割 系统， 其特 征在于， 所述系统包括： 主干网络模块， 用于将待处理图像输入到主干网络 中， 得到主干网络特征， 所述主干网 络特征包括主干网络第一层特征， 主干网络第二层特征， 主干网络第三层特征和主干网络 第四层特 征； ASPP特征输出模块， 用于将主干网络第四层特征输入到ASPP模块， 得到ASPP特征输出 特征； 空间特征输出模块， 用于将ASPP特征输出特征和主干网络第 一层特征同时输入至像素权　利　要　求　书 2/3 页 3 CN 114937148 A 3