(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211282979.7 (22)申请日 2022.10.20 (65)同一申请的已公布的文献号 申请公布号 CN 115345886 A (43)申请公布日 2022.11.15 (73)专利权人 天津大学 地址 300354 天津市津南区雅观路13 5号 (72)发明人 郭菲　李雪健　徐君海　唐继军　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 黄青青 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 3/40(2006.01)G06T 3/60(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (56)对比文件 CN 113657124 A,2021.1 1.16 CN 114119515 A,202 2.03.01 CN 114373106 A,2022.04.19 审查员 李翔 (54)发明名称 一种基于多模态融合的脑部胶质瘤分割方 法 (57)摘要 本发明公开了一种基于多模态融合的脑部 胶质瘤分割方法， 包括如下步骤： S1、 通过MRI获 取多模态脑部胶质瘤数据集， 将数据预处理成深 度学习模型的输入； S2、 对数据进行数据增强、 增 加训练样本丰富性， 包括随机旋转、 随机翻转、 随 机缩放和随机裁剪等； S3、 基于Tran sformer设计 融合模块以融合多模态特征； S4、 结合TransUnet 和融合模块构建多模态脑部胶质瘤分割模型； S5、 设计特征解耦模块， 解耦前景和背景特征， 提 高分割模型的性能； S6、 对分割模型进行评估验 证和测试。 本发 明采用上述的一种基于多模态融 合的脑部胶质瘤分割方法， 通过对多模态的脑部 MRI图像提取 特征， 实现对脑部肿瘤的有效分割。 权利要求书1页 说明书4页 附图3页 CN 115345886 B 2022.12.30 CN 115345886 B 1.一种基于多模态融合的脑部胶质瘤分割方法， 其特 征在于： 包括如下步骤： S1、 通过MRI获取多模态 脑部胶质瘤数据集， 将数据预处 理成深度学习模型输入； S2、 对数据进行数据增强、 增加训练样本丰富性， 包括随机旋转、 随机翻转、 随机缩放和 随机裁剪； S3、 基于Transformer设计融合模块以融合多模态特 征； S4、 结合TransUnet和融合模块构建多模态 脑部胶质瘤分割模型； S5、 设计特 征解耦模块， 解耦前 景和背景 特征， 提高分割模型的性能； S6、 对分割模型进行评估 验证和测试 所述步骤S1中对数据进行 预处理， 包括如下步骤： S1‑1、 中心裁剪图片数据： 原始图片数据尺寸为1 ×240×240， 分别表示图片的通道数、 高和宽， 裁 剪掉图片边 缘区域， 裁 剪后图片尺寸 为1×144×176； S1‑2、 拼接多模态数据： 来自MRI脑部胶质瘤数据包含四个模态： Flair、 T1、 T1ce和T2， 经过所述步骤S1 ‑1的处理， 将Flair和 T2沿着通道拼接成2 ×144×176作为一组模态数据、 T1和T1ce沿着通道拼接成2 ×144×176作为另一组模态数据； S1‑3、 数据归一化： 将原本数据范围[0,255]归一化到[0,1]范围内以加速模型的训练 速度； 所述步骤S3中， 融合模块借鉴Transformer的交叉注意力机制设计了基于局部窗口的 交叉注意力机制， 使得交叉注意力的运算仅限于局部区域； 将所述步骤S1 ‑2其中一组模态 特征作为查询向量q、 另一组模态特征作为关键字向量k和值向量v， q与k计算相 似度矩阵， 然后通过softmax生 成注意力矩阵， 然后与v相乘， 建立两组模态之间的关联， 显式引导不同 模态特征之间的融合。 2.根据权利要求1所述的一种基于多模态融合的脑部胶质瘤 分割方法， 其特征在于： 所 述步骤S4中， 使用两个独立的TransUnet作为特征提取网络， 分别从两组模态提取特征， 融 合模块被使用在TransUnet的每一层以融合多尺度特 征。 3.根据权利要求1所述的一种基于多模态融合的脑部胶质瘤 分割方法， 其特征在于： 所 述步骤S5中， 将模型的编 码器的最后一层特征， 分别映射成前景特征和背 景特征， 顺时针旋 转前景特征再结合背景 特征， 重构修改后的输入图片。权　利　要　求　书 1/1 页 2 CN 115345886 B 2一种基于多模 态融合的脑部胶质瘤分割方 法 技术领域 [0001]本发明涉及计算机深度学习图像分割技术领域， 尤其是涉及一种基于多模态融合 的脑部胶质瘤分割方法。 背景技术 [0002]目前， 脑部胶质瘤主要通过MRI技术诊 断。 脑部肿瘤区域包含水肿区、 增强肿瘤区 和坏死区， 用计算机从脑部MRI图像中自动的分割出肿瘤区域可以帮助医生诊断疾病、 加快 诊断效率、 降低误诊风险、 减轻医生负 担。 此外， 一些区域较小的肿瘤， 需要医生依据经验主 观的来判断， 不同专家可能有不同的看法， 通过计算机技术自动分割肿瘤， 可以减少主观因 素的影响。 [0003]脑部MRI图像包含四种模态， Flair、 T1、 T1ce和T2。 这四种模态反映不同的信息。 T1 可以反映脑部的解剖结构， T2对病变区域更加敏感， T1ce则对血流较快的区域敏感， Flair 在T2的基础上可以把病灶的边缘细节显现。 有效的融合这些模态的特征可以大大提升 分割 效果， 然而现有的方法很少关注不同模态特 征之间的融合。 发明内容 [0004]本发明的目的是提供一种基于多模态融合的脑部胶质瘤分割方法， 使用 TransUnet作为特征提取网络， 设计了一个基于交叉注 意力机制的融合模块， 在特征层面有 效的融合了多模态特征， 显式的引导了模型融合不同模态特征的过程； 同时， 设计了特征解 耦模块， 提升分割模型区分前 景和背景的能力。 [0005]为实现上述目的， 本发明提供了一种基于多模态融合的脑部胶质瘤分割方法， 包 括如下步骤： [0006]S1、 通过MRI获取多模态脑部胶质瘤数据集， 将数据预处理成深度学习模型的输 入； [0007]S2、 对数据进行数据增强、 增加训练样本丰富性， 包括随机旋转、 随机翻转、 随机缩 放和随机 裁剪等； [0008]S3、 基于Transformer设计融合模块以融合多模态特 征； [0009]S4、 结合TransUnet和融合模块构建多模态 脑部胶质瘤分割模型； [0010]S5、 设计特 征解耦模块， 解耦前 景和背景 特征， 提高分割模型的性能； [0011]S6、 对分割模型进行评估 验证和测试。 [0012]优选的， 所述 步骤S1中对数据进行 预处理， 包括如下步骤： [0013]S1‑1、 中心裁剪图片数据： 原始图片数据尺寸为1 ×240×240， 分别表示图片的通 道数、 高和宽， 裁 剪掉图片边 缘区域， 裁 剪后图片尺寸 为1×144×176； [0014]S1‑2、 拼接多模态 数据： 来自MRI脑部胶质瘤数据包含四个模态： Flair、 T1、 T1ce和 T2， 经过所述步骤S1 ‑1的处理， Flair和 T2包含的信息更加相似， T1和T1ce包含的信息更加 相似， 将Flair和T2沿着通道拼接成2 ×144×176作为一组模态数据、 T1和T1ce沿着通道拼说　明　书 1/4 页 3 CN 115345886 B 3