(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210306387.8 (22)申请日 2022.03.25 (71)申请人 中国医学 科学院肿瘤医院 地址 100021 北京市朝阳区潘家园南里17 号 (72)发明人 鲁海珍　孙丰龙　马建辉　陈灿灿　 郭强　祝心怡　 (74)专利代理 机构 北京知文通达知识产权代理 事务所(普通 合伙) 16051 专利代理师 欧阳石文 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 20/69(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) (54)发明名称 一种基于多分类任务的 甲状腺癌检出系统 (57)摘要 本发明涉及疾病诊断和图像识别技术领域， 以人工智能辅助诊断会试， 具体提供了基于多分 类任务的甲状 腺癌检出系统和检测设备。 本发明 基于甲状腺癌冰冻切片相关的真实临床应用场 景， 为研究的真实落地、 临床应用和预研工作提 供了更大可能性； 针对临床真实数据集， 本发明 从数据的分布差异性出发， 设计了基于ResUNet 模型、 随机森林、 三分类决策树的甲状腺癌高准 确率的自动检测和良恶性分类模 型。 本发明设计 的算法模型面向真实甲状 腺癌临床数据集， 即包 括所有亚型的良恶性病变类型， 因而提供了甲状 腺癌高准确率的自动检测 和良恶性分类模型。 权利要求书3页 说明书8页 附图3页 CN 114648509 A 2022.06.21 CN 114648509 A 1.一种基于多分类任务的 甲状腺癌检出训练系统， 其特 征在于， 包括下述模块： 模块一： 甲状腺冰冻切片数据集模块， 用于收集良恶性类型的甲状腺冰冻切片图像的 临床真实数据集； 模块二： 深度学习模型所需的切片级训练集和测试集模块， 用于收集切片级训练集和 测试集的 甲状腺冰冻切片图像数据； 模块三： 深度学习模块， 以由深度学习分割网络ResUNet模型作为深度学习基础模型， 用于将成批次送入的训练集对ResUNet模型进行训练， 以及用于将成批次送入的验证集用 于验证模型 是否已经收敛； 模块四： 甲状腺癌冰冻病理切片推理预测模块， 用于实现采用已经收敛的ResUNet模型 对甲状腺癌冰冻 病理切片进行推理预测， 得到恶性病灶是否存在的热图； 模块五： 预测结果评价模块， 采用机器学习模型在切片级别 对ResUNet模型的预测结果 进行评价； 模块六： 基于决策树的三分类任务模块， 用于提取预测模块所得热图的病灶区域的重 要临床特征， 分别包括病灶区域的最大面积、 最大直径、 最大周长和所述热图切片级别的预 测概率p； 针对预测结果评价模块提到的甲状腺冰冻切片测试集， 分别提取现存病理报告中 对应临床医生的诊断结果， 将其划分为适用三分类决策树的训练集和验证集， 并训练决策 树中的最大面积参数a、 最大直径d、 切片预测概率值p、 针对切片预测概率值设定的阈值θ； 最后， 使用上述测试集测试三分类决策树模型 的分类结果， 其分类结果与病理报告中的临 床诊断医生结果进行比较； 其中所述三分类分别为： Class  0， 表示甲状腺冰冻切片为良性病变， 主要包括结节性 甲状腺肿和甲状腺纤维钙化结节； Class  1， 表示甲状腺冰冻切片为恶性病变， 包括甲状腺 乳头状癌； Class  2， 表示人工智能模型难以准确 检测出恶性病变的甲状腺冰冻切片类型， 包括甲状腺滤泡癌、 髓 样癌和其 他深度学习模型难以识别的冰冻切片； 其三分类标准以切片预测概率值p为基础。 当p＞0.5时， 如果p＞θ， 判断为Class  1； 如 果p≤θ， 则判定为Class  2。 当p≤0.5 时， 如果病灶最大面积＞a， 则判 定为Class  2； 如果病 灶最大面积≤a， 且病灶最大直径＞d， 则判定为Class  2， 而病灶最大直径≤ d， 则进一步地 判断， 如果病灶最大周长＞p， 则判定为Clas s 2， 但如病灶最大周长 ≤p， 则判定为Clas s 0。 2.如权利要求1所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块一 中， 使用数字扫描仪采集包括所有良恶性类型 的甲状腺冰冻切片图像数据； 所需数据集的 原则是接受临床所有的甲状腺冰冻切片图像， 包括占比较少的甲状腺良/恶性种类切片图 像， 具体包括甲状腺乳头状癌、 甲状腺滤泡癌、 髓样癌、 腺瘤样病变、 结节性甲状腺肿、 甲状 腺纤维钙化结节所有亚型的 甲状腺冰冻切片图像。 3.如权利要求1所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块二 中， 所述甲状腺冰冻切片图像数据， 包括 随机选取例如乳头状癌甲状腺冰冻切片图像和结 节性甲状腺肿冰冻切片图像构成切片级别的训练集， 随机选取例如乳头状癌甲状腺冰冻切 片和结节性甲状腺肿冰冻切片构成切片级别的验证集， 其他甲状腺冰冻切片图像构成切片 级别的测试集； 优选地， 针对恶性病变的甲状腺冰冻切片， 由专家医生对病灶位置进 行准确 标注； 优选地， 将切片图像分割 为小图(例如随机截取分辨率为256 ×256的小图， 记为正样 本， 从绿色非蓝 色区域随机截 取分辨率为256 ×256的小图， 记 为负样本， 所有小图正负样 本权　利　要　求　书 1/3 页 2 CN 114648509 A 2构成ResUNet模型的训练集； 同理从切片级验证集中构建ResUNet模型的小图级别验证集。 4.如权利要求1所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块三 中， 采用梯度反向传播算法训练ResUNet模 型， 其损失函数模 型包括交叉熵和dice总损失函 数， 具体公式如下： 其中， mask表示医生标注的真实病灶位置， 病灶区域填充为1， 非病灶区域填充为0， pred表示深度学习模型的预测结果， 其中预测的病灶区域填充为1， 非病灶区域填充为0， pred和mask具有相同的尺寸； 所述dice总损失函数为： loss＝w1×交叉熵+w2 ×diceloss 其中， w1＝0.6， w2＝0.4， 能够使得ResUNet模型 快速有效收敛。 5.如权利要求4所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块三 中， 在ResUNet模型的Res模块中添加dropblock方法； 更具体地， 分别在Res模块的skip层和 加层之后添加dropbl ock模块。 6.如权利要求1所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块 四 中， 与ResUNet模 型的小图级别训练集保持一致， 将病理切片等步长划分为分辨率256 ×256 的小图， 分别送入完成训练的ResUNet网络， 并将小图的预测结果拼接为原图大小的结果， 记为热图； 其中， 热图中颜色越 亮的位置， 表示病灶存在的可能性越大。 7.如权利要求1所述的基于多分类任务的甲状腺癌检出训练系统， 其特征在于， 模块五 中， 采用的机器学习模型是随机森林、 支持向量机； 具体地， 提取训练集和测试集中甲状腺 冰冻切片的热图特征， 分别包括预测病灶区域的长轴、 短轴、 病灶面积、 病灶边缘周长、 病灶 区域数量、 病灶区域的像素数量； 然后， 基于训练集的热图特征， 训练随机森林模型； 最后， 利用训练完成的随机森林模型和已提取的测试集甲状腺冰冻切片的热图特征， 对测试集中 的甲状腺冰冻切片热图进 行切片级别的良恶性预测， 即为甲状腺冰冻切片的良恶性预测结 果， 输出为良恶性预测概率值记 为p(0≤p≤1)， 其中， p越小， 表明原WSI是良性的概率越 大， p越大， 表明原 WSI是恶性的概率越 大， 意味着热图上的高概率区域即为恶性病变位置。 本发 明采用AUC(Area  under the curve)作为ResUNet模型和随机森林模型对甲状腺冰冻切片 的预测结果的评价指标， AUC值越高， 表明深度学习模型效果越好。 8.如权利要求1所述的训练系统经过训练获得的基于多分类任务的甲状腺癌检出系 统， 其特征在于， 基于权利要求 1至7任一项 所述的训练系统完成训练后， 验证预测效果后获 得检测出系统， 其可用于甲状腺癌的检出， 作为辅助诊断的用途。 具体地， 包括甲状腺冰冻切片数据集模块， 用于收集良恶性类型的甲状腺冰冻切片图 像的临床真实数据集； 甲状腺癌冰冻病理切片推理预测模块， 其是经过训练的已经收敛的ResUNet模型， 对甲 状腺癌冰冻 病理切片进行推理预测， 得到恶性病灶是否存在的热图； 基于决策树的三分类任务模块， 用于提取预测模块所得热图的病灶区域的重要临床特权　利　要　求　书 2/3 页 3 CN 114648509 A 3