(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210303320.9 (22)申请日 2022.03.25 (71)申请人 上海市第六 人民医院 地址 200233 上海市徐汇区宜山路6 00号 (72)发明人 赵可扬　梅炯　朱晓中　吴升辉　 闫旭　廖鹏　 (74)专利代理 机构 上海申新 律师事务所 31272 专利代理师 吴轶淳 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种骨肿瘤病灶 分析系统 (57)摘要 本发明提供一种骨肿瘤病灶分析系统， 包 括： 后端训练服务器， 包括： 第一获取模块， 用于 分别获取多位骨肿瘤患者的多组病灶图像数据， 每组病灶图像数据包括对应的骨肿瘤部位的X线 片图像、 CT图像和MRI图像； 模型训练模块， 用于 将各组病灶图像数据作为输入， 将对应的病灶分 类结果作为输出进行多模态训练得到相应的病 灶分析模型； 前端分析模块， 包括： 第一获取单 元， 用于获取待分析骨肿瘤患者的至少一组待分 析图像数据并输出； 后端训练服务器还包括一图 像分析模块， 用于调用病灶分析模 型对获取的各 组待分析图像数据进行处理得到病灶分类结果 并输出至前端分析模块， 以供医生进行查看。 有 益效果是本发明采用两种检测网络构造病灶分 析模型增 加准确性。 权利要求书2页 说明书9页 附图3页 CN 114757894 A 2022.07.15 CN 114757894 A 1.一种骨肿瘤病灶分析系统， 其特 征在于， 包括: 一后端训练服 务器， 所述后端训练服 务器包括： 第一获取模块， 用于分别获取多位骨肿瘤患者的多组病灶图像数据， 每组病灶图像数 据包括对应的骨肿瘤部位的X线片图像、 CT图像和MRI图像； 模型训练模块， 连接所述第 一获取模块， 用于将各组所述病灶图像数据作为输入， 将对 应的病灶分类结果作为输出进行多模态训练得到相应的病灶分析模型； 一前端分析模块， 连接所述后端训练服 务器， 所述前端分析模块包括： 第一获取 单元， 用于获取待分析骨肿瘤患者的至少一组待分析图像数据并输出； 所述后端训练服务器还包括一图像分析模块， 连接所述模型训练模块， 用于调用所述 病灶分析模型对获取的各组所述待分析图像数据进行处理得到所述待分析骨肿瘤患者的 病灶分类结果并输出至所述前端分析模块， 以供医生进行查看。 2.根据权利要求1所述的骨肿瘤病灶分析系统， 其特征在于， 所述病灶分析模型的网络 结构包括： 一定位网络， 用于针对每一组所述病灶图像数据， 对所述病灶图像数据进行定位处理 得到对应的具有病灶定位信息的热度图； 一分类网络， 连接所述定位网络， 用于对所述热度图进行病灶特征提取并分类得到对 应的所述病灶分类结果。 3.根据权利要求2所述的骨肿瘤病灶分析系统， 其特 征在于， 所述分类网络包括： 第一子网络， 用于对所述X线片图像对应的所述热度图进行病灶特征提取得到对应的 第一特征图像； 第二子网络， 用于对所述CT图像对应的所述热度图进行病灶特征提取得到对应的第二 特征图像； 第三子网络， 用于对所述MRI图像对应的所述热度图进行病灶特征提取得到对应的第 三特征图像； 全连接层， 分别连接所述第 一子网络、 所述第 二子网络和所述第三子网络， 用于对所述 第一特征图像、 所述第二特征图像和所述第三特征图像中的病灶特征进 行特征融合并分类 处理得到对应的所述病灶分类结果。 4.根据权利要求2所述的骨肿瘤病灶分析系统， 其特 征在于， 所述分类网络包括： 融合子网络， 用于对所述X线片图像、 所述CT图像和所述MRI 图像对应的所述热度图进 行多模态图像融合得到一融合后图像； 神经子网络， 连接所述融合子网络， 用于对所述融合后图像进行病灶特征提取得到对 应的一第四特 征图像； 全连接层， 连接所述神经子网络， 用于对所述第 四特征图像中的病灶特征进行分类处 理得到对应的所述病灶分类结果。 5.根据权利要求4所述的骨肿瘤病灶分析系统， 其特征在于， 所述融合子网络采用数值 融合法对 所述X线片、 所述CT图像和所述MRI图像进 行空间归一化处理并在空间归一化处理 后进行多模态图像融合得到所述融合后图像。 6.根据权利要求4所述的骨肿瘤病灶分析系统， 其特征在于， 所述融合子网络采用智能 融合法对 所述X线片、 所述CT图像和所述MRI图像 分别进行信息筛选得到对应的一筛选后图权　利　要　求　书 1/2 页 2 CN 114757894 A 2像， 并对各 所述筛选后图像进行多模态图像融合得到所述融合后图像。 7.根据权利要求4所述的骨肿瘤病灶分析系统， 其特征在于， 所述融合子网络对各所述 热度图进行多模态图像融合之前对各所述热度图分别进行预处理和配准得到对应的一配 准后图像， 并将各所述配准后图像作为对应的所述热度图进 行多模态图像融合得到所述融 合后图像。 8.根据权利要求1所述的骨肿瘤病灶分析系统， 其特征在于， 所述病灶分析模型为第 一 检测网络， 所述第一检测网络包括： 卷积层， 用于针对每一组所述病灶图像数据， 于所述病灶图像数据提取得到包含病灶 特征的一第五特 征图像； 候选区域 提名网络， 连接所述卷积层， 用于在所述第五特 征图像上生成多个候选区域； 池化层， 连接所述 候选区域 提名网络， 用于对每 个所述候选区域 生成对应的一特 征图； 分类和边框回归网络， 连接所述池化层， 用于根据所述特征图对对应的所述候选区域 进行分类和边框回归处 理得到对应的所述病灶分类结果。 9.根据权利要求1所述的骨肿瘤病灶分析系统， 其特征在于， 所述病灶分析模型为第 二 检测网络， 用于根据目标检测算法对所述病灶图像数据进 行分类处理得到对应的所述病灶 分类结果， 所述第二检测网络包括： VGG‑16网络， 所述VGG ‑16网络的输入连接输入层， 所述VGG ‑16网络的输出连接第一分 类器的输入； 第一卷积层， 所述第一卷积层的输入连接所述VG G‑16网络的输出； 第二卷积层， 所述第二卷积层的输入连接所述第一卷积层的输出， 所述第二卷积层的 输出连接第二分类 器的输入； 第三卷积层， 所述第三卷积层的输入连接所述第二卷积层的输入， 所述第三卷积层的 输出连接第三分类 器的输入； 第四卷积层， 所述第四卷积层的输入连接所述第三卷积层的输入， 所述第 四卷积层的 输出连接第四分类 器的输入； 第五卷积层， 所述第五卷积层的输入连接所述第 四卷积层的输入， 所述第五卷积层的 输出连接第五分类 器的输入； 第六卷积层， 所述第六卷积层的输入连接所述第五卷积层的输入， 所述第六卷积层的 输出连接第六分类 器的输入； 所述VGG‑16网络的输出、 所述第二卷积层的输出、 所述第三卷积层的输出、 所述第四卷 积层的输出、 所述第 五卷积层的输出和所述第六卷积层的输出作为回归器的输入， 所述回 归器的输出 连接输出层。 10.根据权利要求1所述的骨肿瘤病灶分析系统， 其特征在于， 所述后端训练服务器还 包括一模型更新模块， 连接所述模型训练模块， 用于持续获取医生真实标注后的病灶数据 并统计所述病灶数据的一实时数量及首次获取所述病灶数据时刻至当前时刻的一持续时 间， 以及在所述实时数量大于预设的一数量阈值或所述持续时间大于预设的一时间阈值 时， 控制所述模型训练模块 根据所述病灶数据对所述病灶分析模型进行 更新训练。权　利　要　求　书 2/2 页 3 CN 114757894 A 3