(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068114.0 (22)申请日 2022.09.01 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 刘博　丁磊　杨滨　王强　汪婧懿　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多实例学习的二阶段全视野数字 病理切片分类方法 (57)摘要 本发明公开了一种基于多实例学习的二阶 段全视野数字病理切片分类方法， 包括下述步 骤： 步骤一， 采集全视野数字病理切片； 步骤二， 对图像进行裁剪， 缩放， 过滤处理； 步骤三， 使用 多实例学习与有监督度量学习结合的方式训练 病理切片 的嵌入空间； 步骤四， 使用自注意力对 病理切片进行检测和分类。 第一阶段中， 多实例 学习提供伪标签， 构建<anchor,positive, negative>数据训练编码器； 第二阶段中， 直接使 用第一阶段的编码器提取病理切片特征， 通过自 注意力网络对切片做最后的分类。 本算法提出的 基于多实例学习的二阶段全视野数字病理切片 分类方法， 可 以对整张病理切片进行诊断分类， 为病理医生 提供有效的参 考价值。 权利要求书2页 说明书5页 附图1页 CN 115424070 A 2022.12.02 CN 115424070 A 1.一种基于多实例学习的二阶段全视野数字病理切片分类方法， 其特征在于： 包括下 述步骤， 步骤一， 采集全视野数字病理切片图像； 步骤二， 对步骤一获取的全视野数字病理切片图像进行裁 剪、 缩放， 过 滤处理； 步骤三， 经由步骤二处理的全视野数字病理切片使用多实例学习与有监督度量学习结 合的方式训练， 完成模型的第一阶段训练； 步骤四， 在步骤三训练的模型后面加上自注意力网络， 实现病例图像的检测和分类， 完 成模型的第二阶段训练。 2.根据权利要求1所述的一种基于多实例学习的二阶段全视野数字病理切片分类方 法， 其特征在于： 步骤二的实现过程如下， 先将全视野数字病 理切片按照从左到右， 从上到下的顺序， 将切片裁剪成1150 ×1150 像素的样本， 确保样本具有大小统一的尺寸； 其次， 为了便于训练， 将样本压缩成224 ×224 大小； 最后， 丢弃背景占比70％以上的样本 。 3.根据权利要求1所述的一种基于多实例学习的二阶段全视野数字病理切片分类方 法， 其特征在于， 步骤三的实现过程如下： 将整张全视野数字病理切片称为一个包， 定义为B， 由全视野数字病理切片切割下来的 224×224大小的样本称为实例， 定义为xi， 令包B含有n个实例， 则包B写为B＝{x1， ...， xn}； 使用残差网络F(*)作为基编码器， 通过残差网络对包B中的第i个实例进行预测， 获得该实 例发生病变的概率值pi； 提取n个实例的最大概率值p＝ max(p1， ...， pi， ...， pn)对应的实例 x， 将其父包的真实标签作为实例x的伪标签y； 因此， 获得一批实例级别的训练样本X＝ {{x1， y1}， ...， {xi， yi}， ...， {xk， yk}}， 其xi表示提取的第i个实例， yi为该实例对应的标签， k 表示总共提取的实例个数； 根据这一批实例级的训练样本， 一方面对实例进行二分类， 这里使用交叉熵损 失函数 Lce： 其中， k表示实例的总个数， xi表示提取的第i个实例， yi为该实例对应的标签； 为模型 输出值， σ(*)为sigmoid函数， W为全连接的参数， b为全连接的偏置； F (*)为编码器函数， 输出1* 512维向量； 另一方面， 训练深度度量学习模型， 从而使模型学习到实例的嵌入空间， 这里使用三元 损失函数Lp： xi表示提取的第i个实例， 将其视为anchor， 即写为 从xi同标签的数据集中抽取一个 样本， 写为 从xi不同标签的数据集中抽取一个样本， 写为 最后， margin为可调节的超 参； 最终的损失函数为交叉熵损失函数和三元损失函数之和L oss： Loss＝Lce+Lp。权　利　要　求　书 1/2 页 2 CN 115424070 A 24.根据权利要求1所述的一种基于多实例学习的二阶段全视野数字病理切片分类方 法， 其特征在于， 步骤四的实现过程如下： 将每一个包作为自注意力网络的输入， 而输出则为该包的结果； 包拥有n个实例， B＝ {x1， ...， xn}， B为包的定义， xi为该包第i个实例， 先使用残差网络获得每一个实例的512维 向量ei： ei＝F(xi) 编码后的包， 先 经过多头注意力网络 MultiHeads： z0＝[e1， ...， en] z′0＝MultiHeads(z0) 这里z0为n个实例向量的聚合， z ′0为多头注意力网络的输出， 两者的维度都为 n*512； 多头自注意力网络种， 将实例向量ei经过一层全连接层得到qi， ki， vi， 分别代表第i个 实例的query， key， value； 然后用query向量与其他所有实例的key向量进行点积， 作为注意 力分数， 最后用注意力分数与value向量的加权和作为实例向量ei的更新； 公式如下： qi＝W1*ei+b1， Q＝concat[qi， ...， qn] ki＝W2*ei+b2， K＝co ncat[ki， ...， kn] vi＝W3*ei+b3， V＝co ncat[vi， ...， vn] 其中concat[*]为向量拼接操作； d为qi的维度； W1， W2， W3分别为三个全连接层参数； b1， b2， b3分别为三个全连接层偏置； 再依次经过层正则化LN， 全连接网络MLP， 平均池化层meanPooling， 最终得到该包B异 常的概率值y： z′1＝LN(z′0+z0) z1＝LN(MLP(z′1)+z′1) y＝σ(W*meanPo oling(z1)+b) 这里W和b分别为全连接层的参数和偏置； σ(*)为sigmo id函数； 最后， 根据y值以及设定的阈值判断是否发生异常。权　利　要　求　书 2/2 页 3 CN 115424070 A 3