(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210109798.8 (22)申请日 2022.01.29 (71)申请人 海南大学 地址 570228 海南省海口市美兰区人民大 道58号 (72)发明人 周晓谊　段韶华　符大豪　钱宇晗　 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于联邦学习和卷积神经网络的细粒 度眼底图像分类方案 (57)摘要 本发明涉及一种基于联邦学习和卷积神经 网络的细粒度眼底图像分类方案， 医学眼底图像 辨别眼底疾病问题一直备受医生和学者们关注； 许多全身疾病都可以从眼底图像上反映出来； 与 传统方法人工观察相比， 深度学习的出现， 特别 是卷积神经网络为眼底 图像分类精度带来较大 提升； 医学上对个人隐私 的问题越来越重视， 各 个医院的数据作为资产不可能拿出来分享， 这就 造成了数据孤岛的现象； 联邦机器学习是一个机 器学习框架， 能在保护患者隐私、 数据安全要求 下可以有效解决数据孤岛问题； 该方案通过联邦 学习来训练分类网络， 拓展了数据集提高分类的 准确度； 在卷积神经网络中， 将病例信息同眼底 图像特征融合进行分类并使用注意力机制进一 步提高分类准确性。 权利要求书1页 说明书3页 附图2页 CN 114359551 A 2022.04.15 CN 114359551 A 1.一种基于联邦学习和卷积神经网络的细粒度眼底图像分类方案， 其特征在于： 包括 两部分， 首先是自治部 分， 各个医院通过本地数据建立卷积神经网络的细粒度分类模型； 第 二部分是联合部分， 各家医院的模型上传模型参数， 并根据水印服务器响应跟新参数直到 整个训练过程的收敛。 2.根据权利要求1所述的一种基于联邦学习和卷积神经网络的细粒度眼底图像分类方 案， 其特征在于： 所述 通过联邦学习对各个医院进行建模生成分类模型流 程如下： 使用联邦学习进行模型训练， 每 个参与方利用本地数据训练模型； 加密梯度上传给 联邦学习服 务器； 联邦学习服 务器聚合各用户的梯度更新模型参数； 联邦学习服 务器返回更新后的模型 给各参与方； 最后各参与方 更新各自模型直到整个训练过程的收敛。 3.根据权利要求1所述的一种基于联邦学习和卷积神经网络的细粒度眼底图像分类方 案， 其特征在于： 第二部 分是自治部 分， 主要也有两部 分组成， 一是病例 信息的特征提取， 二 是眼底图像特 征的提取， 说明入下： 病例信息的特 征提取： 病例信息经 过CNN （卷积神经网络） 提取病例信息特 征； 眼底图像特征的提取： 眼底图像经过CNN和注意力网络进行区域提取， 将提取到的区域 通过卷积神经网络学习， 然后通过LSTM （长短时记 忆模型） 注意力机制提取关键区域特 征。 4.根据权利要求3所述的一种基于联邦学习和卷积神经网络的细粒度眼底图像分类方 案， 其特征在于： 所述自治部分眼底图像分类训练流 程如下： 病例信息经 过CNN提取病例信息特 征； 眼底图像经 过CNN提取出整幅图像的特 征； 经过CNN提取的特 征经过注意力网络生成多个关键区域； 对每个关键区域图像进行CN N特征学习； 经过CNN学习到的特 征通过注意力机制学习； 最后一层 分类器将经过CNN提取病例信 息特征与 经过注意力 机制学习到的关键区域的 特征进行融合完成分类。权　利　要　求　书 1/1 页 2 CN 114359551 A 2一种基于联邦学习和卷积神经 网络的细粒度眼底图像分类 方案 技术领域 [0001]本发明属于细粒度图像分类领域， 涉及一种基于联邦学习和卷积神经网络的细粒 度眼底图像分类方案 。 背景技术 [0002]眼睛是人类的重要器官， 许多疾病 都与眼睛有着千丝万缕的联系。 而眼科与影像 学的关系十分密切， 尤其是眼底病 学更是高度依赖于影像诊断学。 人体疾病许多均可在眼 底图像上有 所体现。 比如糖尿病、 高血压等。  眼底发生的病变程度也直接或间接反映了人 体疾病的严重程度， 能够评估病情的转移和发展以及预测的疾病发展情况。 但由于医生诊 断的水平不一， 优秀的眼科医疗人才匮乏、 培养眼科医生需要花费大量的人力物力等现实 因素， 导致了少量的眼科医生根本不足以承担大量的眼底疾病诊疗业务， 致使原本可早期 干预防治的眼底疾病由于发现不及时， 未进行有效治疗， 从而错过最佳治疗时间， 延误治 疗。 [0003]随着人工智能的兴起， 既填补了不 同眼科医生识别眼底图像的水平差异较大， 又 可以利用计算机的算力高速的处理大量的图像， 节省了大量的时间成本和人力成本， 患者 第一时间接受治疗。 眼底图像分类属于一种细粒度图像分类， 细粒度图像分类又被称作子 类别图像分类， 是近年来计算机视觉、 模式识别等领域的研究热点， 其目的是对粗粒度的大 类别进行更加细致的子类划分。 但由于子类别间的细微差别以及较大 的类内差异， 较之普 通的图像分类任务， 细粒度图像分类的难度更 大。 [0004]年来由于深度学习技术的快速发展， 特别是卷积神经 网络 （CNN） 技术的快速进步， 深度学习技术应用于细粒度图像分类具有较高的识别率， 使得深度学习特征在细粒度图像 分类上具有广泛的应用。 基于深度学习得到的特征具有更强的表达能力， 因此涌现大量的 基于深度特征学习的算法， 这极大 的促进了细粒度图像分类领域的研究进步。 但是机器学 习技术需要集合大量的数据才能训练出足够准确的模型， 而 各个医院对各自的数据也越来 越重视， 作为资产不可能拿出来分享。 [0005]联邦学习能够有效的解决上述数据集小以及数据安全的问题， 联邦学习是一种带 有隐私保护、 安全加密技术的分布式机器学习框架， 旨在让分散的各个参与方在满足不向 其他参与方披露隐私数据的前提下， 协助进行机器学习的模型训练。 [0006]综上所述， 联邦学习、 卷积神经网络不是排他的而是互相补充的， 联邦学习技术用 于训练卷积神经网络模型使其具有足够的识别率， 在更多的数据量和不泄露患者的 隐私的 场景下， 卷积神经网络的深度特征提取使得细粒度图像分类精度有了极大 的提升， 进而提 升了眼底图像分类的准确的。 发明内容 [0007]为了解决人工识别眼底图像和现有眼底图像分类方案准确性不高问题和各个医说　明　书 1/3 页 3 CN 114359551 A 3