(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393464.8 (22)申请日 2022.04.14 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 张聚　马栋　上官之博　姚信威　 边林洁　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 孙家丰 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力机制的多模态特征融合的 MRI脑瘤图像分割方法 (57)摘要 本发明公开了一种基于注意力机制的多模 态特征融合的MRI脑瘤图像分割方法， 涉及深度 学习领域， 本发 明首先对数据集进行数据预处理 和数据增广， 然后构建网络模型， 网络模型包括 主干网络、 混合上下文感知模块和全局注意力融 合模块， 图像进入网络模型， 先经过主干网络进 行编码， 然后通过混合上下文感知模块感知全局 和局部信息， 最后通过注意力融合模块对多模态 特征进行融合并输出图像。 经过训练好的网络模 型后， 把待分割的二维磁共振脑瘤图像输入到训 练好的模型， 输出图像的分割结果。 本专利 能够 训练有效的自动分割MRI脑瘤图像的网络模型， 融合多模态特征， 提高了分割精度， 具有较高的 应用价值和临床治 疗的应用前 景。 权利要求书3页 说明书6页 附图3页 CN 114782350 A 2022.07.22 CN 114782350 A 1.一种基于注意力 机制的多模态特征融合的MRI脑瘤图像分割方法， 其特征在于， 包含 以下步骤： 步骤1)输入数据集； 输入MRI脑瘤图像数据集BraTS2021； BraTS2021数据集中的磁共振图像模态有T1加权 成像、 T2加权成像、 T1ce成像、 自由水抑制序列(FLAIR)四种模态； 输入待分割的二维多模态MRI脑瘤图像； 步骤2)数据增广和数据预处 理； 通过对数据集BraTS2021中的三维图像的冠状面进行切片， 每个切片要同时获得它其 他三种模态的对应位置的切片和分割切片， 把切片图像改为4个通道,按顺序分别对应T1加 权成像、 T2加权成像、 T1ce成像、 自由水抑制序列(FLAIR)， 得到的二维图像数据集记为 2DBraTS2021； 通过对数据集2DBraTS2021中的图像进行裁剪、 翻转、 旋转、 缩放、 移位等方式 来扩大数据集， 这个操作称之为数据增强， 数据增强可以增加训练的数据量， 提高深度神经 网络模型的泛化能力， 最后对所有数据进行归一化处理将 图像强度值限定在一定的范围 内， 避免某些异常样本对训练造成不良影响； 步骤3)构建网络模型； 构建分割模型BraTSegNet； 分割模型包括一个主干网络和两个关键模块组成， 即 ResNet主干网络、 混合上下文感知(HCA， Hybrid  Context ‑Aware)模块和全局注意融合 (DAF,Dual Attention  Fusion)模块； 主干网络从输入的CT图像中提取多层特征； 然后， HCA 模块对特 征进行增强， 然后将其输入DAF模块 来预测分割图； 首先从主干网络的不同层级中提取多层次特征； 然后， 低级和高级特征都被输入HCA模 块， 通过扩大接受域进 行增强； 需要注意的是， 低/高级 特征表示更接近主干网络的开始/结 束(即输入/输出)的特征； 然后， 使用三个DAF模块来进 行特征融合来预测分割图； 此外采用 深度监督策略， 对三个DAF模块的输出和最后一个HCA模块的输出进行监督； 使用预训练过 的ResNet50的前四层作为BraTSegNet的编码器； 特征图的大小减半， 两个相邻的残差块 (RB)之间的通道数量增 加了一倍； 3.1.构建H CA模块： HCA模块利用扩大的接受域利用更多的信息特征； 一个HCA模块由4个 并行分支组成， 每 个分支都由不同的卷积层组成； 特别是， 第三个分支利用了串联的不同扩张率的空洞卷积 层， 即混合空洞卷积， 提供了来自不同接受域的丰富的多尺度特征； 在融合了多尺度特征 后， 我们获得了更多的信息特 征， 提供了 丰富的图像信息特 征； 数学上， HCA模块定义 为 fHCA＝ReLU(Co nv3x3(Cat(Conv1×1(fRB)， Conv3×3(fRB)， fHDC))+Conv1×1(fRB))    (1) fHDC＝f3(f2(f1(fRB)))                    (2) 其中fi表示扩张率为i、 卷积核为3 ×3的空洞卷积单元； Cat(x)表示连接操作； Conv1×1 (x)和Conv3×3(x)分别表示卷积核大小为1 ×1和3×3的卷积单元； fRB表示从主干中提取 的 特征； 3.2.构建DAF模块： 为了融合HCA模块的丰富特征， 提出了一种新的DAF模块； DAF模块利用高级特征生成的 注意力权重图来增强低级特征， 然后将增强的低级特征与高级特征融合； 我们同时考虑了 通道注意力和空间注意力机制， 把通道注意力(CA， Channel  Attention)模块和空间注 意力权　利　要　求　书 1/3 页 2 CN 114782350 A 2(Spatial  Attention)模块串联起来， 在CA模块中使用平均池， 在SA模块中使用最大池； 高 级特征经过CA模块和SA模块生成注意力权重图， 然后增强低级特征； 由经过上采样的高级 特征和增强的低级特 征的总和作为融合特 征； 数学上， 将DAF模块定义 为： 和 代表第k级(低级)和第k+1级(高级)HCA模块提供的特征， k＝1， 2， 3； 符号*表 示哈达玛积， 即元素乘法； Deconv4×4(x)表示核大小为4 ×4的反卷积操作， 它扩大了特征图 的大小； WCA是特征经过CA模块后的注意权重矩阵， WSA(x)是SA模块的操作； ArgP ool(x)表示 平均池化操作， MaxPo ol(x)表示 最大池化操作； σ(x)表示Sigmo id激活函数； 3.3构建损失函数； 采用深度监督策略来设计损失函数； 具体来说， 在每个DAF模块和最后一个HCA模块中 添加了监督， 共4个， 允许更好的梯度流和更有效的网络训练； 对于每个监督， 考虑两个损 失， 即二元交叉熵(BCE， Binary  cross entropy)损失和骰子(Dic e)损失； 因此， 总体损失被 设计为 Loss＝LBCE+LDice              (6) 步骤4)训练策略； 将经过预处理的数据集以6:2:2的比例依次划分为训练集、 测试集和验证集； 采用随机 初始化和Adam优化算法； 设置BatchSize(一次训练所选取的样 本数)、 epoch(表示回合的意 思， 训练完所有的数据表示一回合)和合适的初始学习率和每次更新时学习率下降的值； BraTSegNet网络模 型中采用反向传播算法(BP)算法对网络中的权重和偏 置进行更新； 训练 迭代过程中利用步骤3.3所述损失函数进行参数的更新； 根据设置好的训练策略对BraTSegNet网络模型进行训练； 首先将ImageNet上预训练的 ResNet块参数加载到B raTSegNet网络模型对应的残差块中； 然后， 使用2DBraTS2021数据集 对BraTSegNet网络模型进行训练； 训练分割出整个肿瘤(WT:whole  tumor)、 肿瘤核心(TC: tumor core)和增强肿瘤区域(ET,enhanci ng tumor)； 步骤5)评估指标； 评估指标如下 所示： 骰子相似性系数(DSC)： DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性； DSC定义如下： 其中VS代表经过模型分割后的数据集， VT代表事实的分割数据； |x|表示基数计算的运 算， 它提供了一个集合中的元素的数量； 根据此公式分别计算整个肿瘤(WT:whole  tumor)、 肿瘤核心(TC:tumor  core)和增强肿瘤区域(ET,enhanci ng tumor)的骰子相似性系数； 步骤6)使用已训练好的网络模型； 保存已经训练好的网络模型， 对待分割的二维多模态MRI脑瘤图像进行语义分割， 最后权　利　要　求　书 2/3 页 3 CN 114782350 A 3