(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210845237.4 (22)申请日 2022.07.19 (65)同一申请的已公布的文献号 申请公布号 CN 114926460 A (43)申请公布日 2022.08.19 (73)专利权人 合肥综合 性国家科 学中心人工智 能研究院 （安徽省人工智能实验 室） 地址 230094 安徽省合肥市蜀山区望江西 路5089号， 中国科学技术大学先进技 术研究院未来中心B120 5-B1208 (72)发明人 谷宗运　赵士博　韩啸　李传富　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)(56)对比文件 CN 114882014 A,202 2.07.09 CN 114419054 A,202 2.04.29 CN 114564991 A,202 2.05.31 CN 109376767 A,2019.02.2 2 CN 111523617 A,2020.08.1 1 CN 114266730 A,2022.04.01 CN 114048818 A,202 2.02.15 CN 114494222 A,2022.05.13 CN 113887610 A,202 2.01.04 US 2022004716 A1,202 2.01.06 US 2021312 905 A1,2021.10.07 Yuhao Qing 等.Improved Transformer Net for Hyperspectral Ima ge Classificati on. 《remote sensi ng》 .2021,第1- 21页. 傅励瑶 等.基 于Transformer 的U 型医学 图像分割网络综述. 《计算机 应用》 .202 2,第1-14 页. (续) 审查员 杨静 (54)发明名称 眼底图像 分类模型的训练方法、 眼底图像 分 类方法及系统 (57)摘要 本发明属于智慧医疗诊断技术领域， 具体涉 及一种眼底图像 分类模型的训练方法、 病变图像 分级方法及系统， 本发明用Transformer编码器 提取图像特征， Transformer编码器自身具备多 头注意力机制， 能够强化关键信息在运算过程中 的权重， 同时用残差注意力机制对提取的特征分 类， 进一步强化关键信息， 从而提高糖尿病视网 膜病变眼底图像的分级效果。 [转续页] 权利要求书4页 说明书10页 附图7页 CN 114926460 B 2022.10.25 CN 114926460 B (56)对比文件 Yihan Chen 等.A Fast I nference Visi on Transformer for Automatic Pavement Ima ge Classificati on and Its Visual Interpretati on Method. 《remote sensi ng》 .2022,第1-20页.2/2 页 2[接上页] CN 114926460 B1.一种眼底图像分类模型的训练方法， 其特 征在于， 包括如下步骤： 获取眼底图像样本集， 所述眼底图像样本集包括眼底图像集以及与 所述眼底图像集对 应的分类标签集； 利用Transformer编码器对所述眼底图像集进行 特征提取， 获得 特征矩阵； 利用残差注意力机制对所述特 征矩阵进行分类， 获得分类结果； 根据所述分类结果和所述分类标签集计算损失值； 调整所述眼底图像分类模型的参数， 直至所述损 失值小于预设的阈值， 完成所述眼底 图像分类模型的训练； 所述利用残差注意力机制对所述特 征矩阵进行分类， 获得分类结果的步骤 包括： 从眼底图像集中提取特征矩阵 ， 其中， 、 和 分别代表特征矩阵的 维数， 高度和宽度； 将特征矩阵 解耦为位置特征矩阵组 ； 使用一个全连接层作为分类器， 每个类都有其特定的全连接层分类器， 第 类所对应分 类器 的参数为 ， 定义第 类和第 位置的类特定残差注意力评分： ； 其中， 是温度控制因子， 可以控制注意力评分的锐度， 且有 ； 将 视为第 类出 现在第 位置上的概 率； 根据所述类特定残差注意力评分， 计算每个分类结果所对应的类特定残差注意力， 包 括： 对于第 类， 位置特征向量 对应的权值为 ， 将所有的位置特征矩阵组与其所对应 的权值进行加权求和， 得到类特定的特 征向量： ； 对向量 和 进行融合， 最终， 对于第 类的类特定残差 注意力 为： ；权　利　要　求　书 1/4 页 2 CN 114926460 B 3