(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211284170.8 (22)申请日 2022.10.20 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 申请人 中国科学院大学　 中国科学院生物 物理研究所 (72)发明人 刘国乐　牛彤欣　裘梦轩　孙飞　 杨戈　朱赟　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张晓霞 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习的冷冻电镜颗粒挑选方法、 装 置和电子设备 (57)摘要 本发明提供一种基于深度学习的冷冻电镜 颗粒挑选方法、 装置和电子设备， 涉及图像识别 技术领域， 所述方法包括： 获取目标冷冻电镜图 像； 将目标冷冻电镜图像输入颗粒分割模型， 输 出用于表征类别的分割图像， 类别包括背景类别 或颗粒类别； 对分割图像进行平均池化 ‑非极大 值抑制操作， 确定操作结果， 在操作结果包括至 少一个局部最大值的情况下， 基于至少一个局部 最大值的位置坐标确定分割图像中颗粒的中心 坐标。 本发 明可实现在真实的冷冻电镜断层图像 中自动、 高效、 准确地挑选 颗粒。 权利要求书2页 说明书11页 附图5页 CN 115359057 A 2022.11.18 CN 115359057 A 1.一种基于深度学习的冷冻电镜 颗粒挑选方法， 其特 征在于， 包括： 获取目标冷冻电镜图像； 将所述目标冷冻电镜 图像输入颗粒分割模型， 输出用于表征类别的分割图像， 所述类 别包括背景类别或颗粒类别； 对所述分割图像进行平均池化 ‑非极大值抑制操作， 确定操作结果， 在所述操作结果包 括至少一个局部最大值的情况下， 基于所述至少一个局部最大值的位置坐标确定所述分割 图像中颗粒的中心坐标。 2.根据权利要求1所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征在于， 所述将 所述目标冷冻电镜图像输入颗粒分割模型， 输出用于表征颗粒类别的分割图像， 包括： 对所述目标冷冻电镜 图像进行第一采样， 获得子目标电镜 图像， 所述第一采样为利用 预设尺寸的目标块， 以预设步长对所述目标冷冻电镜图像采样； 将所述子目标电镜图像输入所述颗粒分割模型， 确定用于表征类别的预分割图像； 基于所述预设步长， 对所述预分割图像进行重叠分区， 确定所述分割图像， 所述分割图 像以所述预设步长为 边长。 3.根据权利要求1所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征在于， 所述对 所述分割图像进行平均池化 ‑非极大值抑制操作， 确定操作结果， 在所述操作结果包括至少 一个局部最大值的情况下， 基于所述至少一个局部最大值的位置坐标确定所述分割图像中 颗粒的中心坐标， 包括： 基于第一预设阈值， 将所述分割图像转 化为二进制图像； 对所述二进制图像进行第一预设次数的均值池化操作， 确定平均池化图像； 对所述平均池化图像进行非极大值抑制操作， 确定操作结果， 所述操作结果包括： 非极 大值抑制图像及所述非极大值抑制图像中的局部最大值； 在所述非极大值抑制图像包括至少一个局部最大值的情况下， 将所述至少一个局部最 大值的位置坐标确定为至少一个颗粒的中心坐标。 4.根据权利要求3所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征在于， 在所述 局部最大值的数量不小于1的情况下， 将不小于第一阈值的局部最大值的位置坐标确定为 颗粒的中心坐标。 5.根据权利要求3所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征在于， 在所述 局部最大值的数量不小于2的情况下， 若相邻两个局部最大值的最小欧氏距离小于第二阈 值， 将所述相邻两个局部最大值中的最大局部最大值的位置坐标确定为颗粒的中心坐标。 6.根据权利要求1至5中任一项所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征 在于， 在所述颗粒分割模型进行监督训练之前， 对样本冷冻电镜电子 断层图像进行数据增 强， 所述数据增强包括 随机裁剪、 镜像转换、 第一预设范围内的弹性形变、 第二预设范围内 的缩放和第三预设范围内的随机 旋转的至少一种。 7.根据权利要求6所述的基于深度学习的冷冻电镜颗粒挑选方法， 其特征在于， 所述颗 粒分割模型 是基于以下步骤训练得到的： 确定以颗粒坐标为中心的颗粒弱标签， 所述颗粒弱标签为标注颗粒中心及颗粒类别的 噪声掩码； 对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行第 二采样， 获得子断层图和权　利　要　求　书 1/2 页 2 CN 115359057 A 2子弱标签， 所述子弱标签中包括至少一个颗粒， 所述第二采样为以标注的颗粒坐标随机偏 移小于第一预设数量的体素得到的偏移 坐标为中心， 对所述样本冷冻电镜电子断层图像和 所述颗粒弱标签进行采样； 基于所述子断层图和对应的子弱标签， 对预先构建的颗粒分割模型进行监督训练， 得 到训练好的所述颗粒分割模型。 8.一种基于深度学习的冷冻电镜 颗粒挑选装置， 其特 征在于， 包括： 获取模块， 用于获取目标冷冻电镜图像； 输出模块， 用于将所述目标冷冻电镜 图像输入颗粒分割模型， 输出用于表征颗粒类别 的分割图像， 所述类别包括背景类别或颗粒类别； 确定模块， 用于对所述分割图像进行平均池化 ‑非极大值抑制操作， 确定操作结果， 在 所述操作结果包括至少一个局部最大值的情况下， 基于所述至少一个局部最大值的位置坐 标确定所述分割图像中颗粒的中心坐标。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于深度学习的冷冻电镜 颗粒挑选方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的冷冻电镜颗粒挑 选方法。权　利　要　求　书 2/2 页 3 CN 115359057 A 3