(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211267954.X (22)申请日 2022.10.17 (71)申请人 上海生物芯片有限公司 地址 201203 上海市浦东 新区中国 （上海） 自由贸易试验区高科技园区李冰路 151号 (72)发明人 公一　韩峻松　苏军　徐祎春　 周佳菁　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 倪静 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于混合注意力的肺癌图像分割方法、 装 置、 终端及 介质 (57)摘要 本发明提供基于混合注意力的肺癌图像分 割方法、 装置、 终端及介质， 获取标签为标注有肺 癌特征的肺癌病理切片图像数据集并进行预处 理； 根据预处理后的肺癌病理切片图像数据集构 建融合有通道注意力、 坐标注 意力及空间注意力 的混合注 意力神经网络模型； 训练并验证混合注 意力神经网络。 本发明对肺癌种类进行更加准确 预测， 实现基于分类的神经网络所不具备的预测 病变区域的功能； 改进了经典的基于神经网络的 注意力机制， 将通道注意力、 空间注意力、 坐标注 意力思想进行融合， 形成一个混合注意力模块， 能够同时混合通道维度、 空间维度、 坐标维度上 的注意力， 更好的提高对肺癌特征的关注； 克服 无注意力或单一注意力下提取特征能力低效的 问题。 权利要求书2页 说明书11页 附图4页 CN 115496744 A 2022.12.20 CN 115496744 A 1.一种基于混合注意力的肺癌图像分割方法， 其特 征在于， 包括： 获取标签为标注有肺癌特 征的肺癌病理切片图像数据集并进行 预处理； 根据预处理后的肺癌病理切片图像数据集构建融合有通道注意力、 坐标注意力及空间 注意力的混合注意力神经网络模型； 训练并验证混合注意力神经网络， 供在输入待预测的肺癌图像后输出对应的分割图及 预测结果。 2.根据权利要求1所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 所述获取 标签为标注有肺癌特 征的肺癌病理切片图像数据集并进行 预处理， 包括： 从公开数据集中下载数据类型为肺癌病理切片图的数据以形成肺癌病理切片图像数 据集； 将所述肺癌病理切片图像数据集按照预设比例分为训练集和验证集； 将所述肺癌病理切片图像数据集中各图像的图像标签转换为掩膜图作为真值图； 将各 图像的图像数据中的宽高像素调整为8的倍数， 并按比例 相应调整真值图。 3.根据权利要求1所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 所述根据 预处理后的肺癌病理切片图像数据集构建融合有通道注意力、 坐标注意力 及空间注意力的 混合注意力神经网络模型， 包括： 以卷积神经网络 中的初始输入特征图层作为特征提取层构建编码器主干网络， 以对肺 癌病理切片图像数据集中的图像数据进行 特征提取； 构建解码器主干网络； 所述解码器主干网络包括5个模块， 前三个模块分别有支线输 出， 且该些输出结果经过混合注意力模块统一维度并按通道连接后输出， 以作为第四个模 块的输入； 第四个模块的输出作为第五个模块的输入， 最后输出结果为单通道， 与输入的原 始图像大小相同。 4.根据权利要求3所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 以卷积神 经网络VGG16中的初始输入 特征图层为特征提取层； 其中， 第一个模块中各层各支线的卷积 核数量为N， 后接最大池化层； 第二个模块中各层各支线的卷积核数量为2N， 后接最大池化 层， 特征图大小为原图像的1/2； 第三个模块中各层各支线的卷积核数量为4N， 后接最大池 化层， 特征图大小为原图像的1/4； 第四个模块中各层各支线的卷积核数量为8N， 其将第一 个模块、 第二个模块、 第三个模块的支线输出修改为统一维度后， 按通道连接后输出， 输出 通道数为8N， 特 征图大小为原图像的1/8； 其中， N 为大于0的整数。 5.根据权利要求3所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 所述混合 注意力模块的构建过程包括： 分别基于通道注意力机制、 坐标注意力机制及空间注意力机 制对初始输入特 征图进行处 理后叠加， 以进行通道、 坐标及空间的注意力加权 。 6.根据权利要求5所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 所述混合 注意力模块对初始输入特 征图进行三组 处理： 在第一组处理中基于通道注意力机制对初始输入特征图进行处理， 包括： 对初始输入 特征图分别进行平均池化和 最大池化处理； 池化得到的各特征图均依序经卷积模块、 激活 函数模块及卷积模块处理后相加； 相加得到的特征图经激活函数模块处理， 得到的结果与 初始输入特 征图相乘得到第一组 处理结果； 在第二组处理中基于坐标注意力机制对初始输入特征图进行处理， 包括： 分别在高度权　利　要　求　书 1/2 页 2 CN 115496744 A 2方向和宽度方向对初始输入特征图进 行平均池化处理， 将高度方向的池化特征图与宽度方 向的池化特征图拼接； 拼接得到的特征图依序经卷积模块、 归一化模块处理得到第一待乘 特征图， 将第一待乘特征图输入激活函数模块后得到第二待乘特征图； 将第一待乘特征图 与第二待乘特征图相乘； 将相乘得到的特征图拆解为高度方向和宽度方向的特征图， 各方 向的特征图经卷积模块和激活函数模块处理后相加； 相加得到的特征图与初始输入特征图 相乘得到第二组 处理结果； 在第三组处理中基于空间注意力机制对初始输入特征图进行处理， 包括： 对初始输入 特征图在通道数为1的空间维度上分别进行平均化和 最大化处理后拼接； 拼接得到的特征 图依序经卷积模块和激活函数模块处理后得到的特征图与初始输入特征图相乘得到第三 组处理结果； 将第一组 处理结果、 第二组 处理结果、 第三组 处理结果及 初始输入特 征图相加后输出。 7.根据权利要求3所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 在所述解 码器主干网络中， 第一个模块中各层各支线的卷积核数量为8N， 后接上采样层进行上采样 处理； 第二个模块中各层各支线的卷积核 数量为4N， 后接接上采样层 进行上采样处理； 第三 个模块中各层各支线的卷积核数量为2N， 后接上采样层进行上采样处理； 第四个模块中各 层各支线的卷积核数量为N； 第五个模块中各层的卷积核数量为(N,1)， 最终输出结果为与 原始图像大小相同的单通道图像； 其中， N 为大于0的整数。 8.根据权利要求1所述的基于混合注意力的肺癌图像分割方法， 其特征在于， 所述训练 并验证混合注意力神经网络的过程包括： 设定损失函数并选择模型优化器及其参数； 将训 练集中预处理后的图像与真值图输入神经网络中进行训练； 加载训练得到的神经网络参 数， 使用验证集测试评价训练得到的神经网络的性能。 9.一种基于混合注意力的肺癌图像分割装置， 其特 征在于， 包括： 预处理模块， 用于获取标签为标注有肺癌特征的肺癌病理切片图像数据集并进行预处 理； 模型构建模块， 用于根据预处理后的肺癌病理切片图像数据集构建融合有通道注意 力、 坐标注意力及空间注意力的混合注意力神经网络模型； 训练及验证模块， 用于训练并验证混合注意力神经网络， 供在输入待预测的肺癌图像 后输出对应的分割图及预测结果。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述基于混合注意力的肺癌图像分割方法。 11.一种电子终端， 其特 征在于， 包括： 处 理器及存 储器； 所述存储器用于存 储计算机程序； 所述处理器用于执行所述存储器存储的计算机程序， 以使所述终端执行如权利要求1 至8中任一项所述基于混合注意力的肺癌图像分割方法。权　利　要　求　书 2/2 页 3 CN 115496744 A 3