(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262218.5 (22)申请日 2022.10.14 (71)申请人 北京帆引未来科技有限公司 地址 100070 北京市丰台区南四环西路18 8 号十六区19号楼 9层101内243 6号 (72)发明人 刘程　 (74)专利代理 机构 重庆忠言智汇 专利代理事务 所(普通合伙) 50290 专利代理师 何君苹 (51)Int.Cl. G16H 30/20(2018.01) G06T 5/00(2006.01) G06T 5/10(2006.01) G06T 7/00(2017.01) G06T 7/10(2017.01)G06T 9/00(2006.01) G06T 17/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) (54)发明名称 基于医学数字成像和通信的影像、 图像多模 态重建、 成像及标注 (57)摘要 本发明涉及医学信息处理技术领域， 且公开 了基于医学数字成像和通信的影像、 图像多模态 重建， 包括以下步骤： S1： 图像影像获得， 通过对 模拟图像或影像转换成适合计算机或数字设备 处理的数字信号， 主要包括摄取图像、 光电转换、 数字化等步骤。 该基于医学数字成像和通信的影 像、 图像多模态重建、 成像及标注， 通过收集图影 像对图影像进行压缩、 增强、 复原分割等一系列 处理， 使得图影像得到重建后以三维形式展示， 提高图影像传输稳定的同时， 还能辅助医生诊断 治疗， 医学图像可视化可以根据CR  CT DR MR  MRI等图像序列构造出三维几何模型， 将看不见 的人体器官以三维形式真实地显示出来， 还可以 对图像任意 放大、 缩小、 旋转、 对比调整等处 理。 权利要求书2页 说明书5页 附图2页 CN 115527657 A 2022.12.27 CN 115527657 A 1.基于医学 数字成像和通信的影 像、 图像多模态重建， 其特 征在于， 包括以下步骤： S1:图像影像获得， 通过对模拟图像或影像转换成适合计算机或数字设备处理的数字 信号， 主要包括摄取图像、 光电转换、 数字化等步骤， 并建立与影像拍摄设备之间的通信连 接， 使影像文件处理设备与影像拍摄设备之间可基于医学数字成像和通信协 议实现数据传 输； S2： 图影像压缩和编码， 通过删除冗余的或者不需要的信息来达到减小减少数据存储 量的目的， 图像编 码的主要方法有去冗余编码、 变换编码、 小波变换编 码、 神经网络编码、 模 型基编码等； S3： 图影像增 强： 增强图像中感兴趣的信息， 去除或衰减不需要 的信息， 便于目标区分 或对象解释； S4： 图影像复原： 由于成像系 统受各种 因素的影响， 导致了图像质量的降低， 退化基本 表现是图像模糊， 可通过复原方法去掉模糊和噪声干扰； S5:图影像变换， 通过用正交函数或正交矩阵对原始图像执行二维线性可逆变换， 可通 过傅里叶变换、 沃尔什.阿达玛变换、 离散余弦变换、 霍特林变换、 离散卡夫纳一勒维变换、 哈达玛变换等； S6:图影像分割： 将图像分成互不相交的各具特性的区域， 提取出感兴趣目标， 是提供 定量、 定性分析基础； S7： 图影像识别， 通过对图影像进行处理、 分析和理解， 识别方法大致可分为统计分类 法、 句法(结构)识别法和模糊识别法， 统计识别法主要抽取出图像特征研究， 可以用贝叶斯 分类器、 神经网络、 支持向量机来实现， 句法识别用于分析图像模式的结构， 通过句法分析 或对应的自动机来实现； 模糊识别法则将模糊数 学方法引入到图像识别中； S8： 图影像重建， 通过对物体的探测获取的数据来重新建立图像， 用于重建图像的数据 一般是分时、 分步取得的， 通过透射模型(光， x射线)、 发射模型(MRI、 PET等)、 反射模型(光 电子、 雷达、 超声波)三重步骤来对图像进行多模态重建， 重建结束可将处理结果保存至存 储空间； S9： 图像标注： 通过获取待标注的目标CT  MR MRI DR影像； 对所述目标超声影像的边界 的标注操作， 显示边界标注信息； 基于所述边界标注信息， 确定目标影像区域； 提取所述目 标影像区域的区域特征信息， 并提取所述 目标超声影像的全局特征信息； 基于所述区域特 征信息和全局特征信息， 输出病灶标注信息， 其中， 所述病灶标注信息用于区分所述目标超 声影像中的病灶区域和非病灶区域； S10： 病灶测量仲裁： 通过识别目标CT  MR MRI DR影像； 对所述目标病灶区域的进行勾 画， 建立边界标注区域； 通过所选区域框进行区域测量、 钢量、 长度、 精度、 维度、 建立数据测 试模型， 通过数据模型形成区域层厚计算， 通过人工智能融合计算方法， 形成病灶体积、 面 积、 层厚、 层高等体现面积的结论， 提供业 务流程进行高级仲裁、 审核、 批准。 2.根据权利要求1所述的一种基于 医学数字成像和通信的影像、 图像多模态重建、 成像 及标注， 其特征在于， 所述步骤S 3中主要方法有： 直方图增强、 空域和频域增强、 伪彩色增强 等技术。 3.根据权利要求1所述的一种基于 医学数字成像和通信的影像、 图像多模态重建、 成像 及标注， 其特征在于， 所述步骤S4中复原实现方法有维纳滤波、 逆滤波、 同态滤波、 最小约束权　利　要　求　书 1/2 页 2 CN 115527657 A 2二乘方滤波等。 4.根据权利要求1所述的一种基于 医学数字成像和通信的影像、 图像多模态重建、 成像 及标注， 其特征在于， 所述步骤S8中三 维可视化的主要目的就是使用计算机图形学技术， 直 观地表现三维效果， 从而提供用传统手段无法获得 的结构信息， 其算法有面绘制法和体绘 制法两大类。 5.一种基于医学 数字成像和通信的成像及标注， 其特 征在于， 包括以下步骤： 1)对于成像局部特征提取， 在图像数据库中随机选取的若干副图像的子集作为词典的 训练样本， 对这些选取的图像以随机或者网格的方式提取一定数量的NxN大小的图像子块 (即Patch)， 再将其按行或者列排成一个1xN2的特征向量； 2)其次为了去除噪声和降低计算量， 我们对归一化后的Patch特征再进行PCA降维， 选 取值最大的几个特 征值所对应的特 征向量作为主元， 并将其作为图像表达阶段 特征的基； 3)进一步操作是对得到的局部特征进行聚类以构造视觉词典， 直接将Patch的位置信 息和视觉信息一起构成局部特征， 再将K均值对其聚类生 成视觉词典， 取得了很好的分类标 注效果； 4)在得到视觉词典后， 就可以为每一幅图像生成其图像特征标注， 提取Patch时与第一 步类似， 但采取稠密网格选取Patc h， 计算出每 个Patch对应的视 觉单词。 6.根据权利要求5所述的一种基于 医学数字成像和通信的成像及标注， 其特征在于， 所 述步骤1)中为了消除噪声和对Patch所包含的信息进行增强， 把Patch特征的灰度值归一化 到均值为0， 方差为1。 7.根据权利要求5所述的一种基于 医学数字成像和通信的成像及标注， 其特征在于， 所 述步骤4)中为了利用每个Patch的空间信息， 我们采用空间金字塔特征表 示方法， 得到一个 高维的视 觉单词的直方图。权　利　要　求　书 2/2 页 3 CN 115527657 A 3