(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687064.8 (22)申请日 2022.06.16 (71)申请人 深圳大学 地址 518000 广东省深圳市南 山区粤海街 道南海大道3 688号 (72)发明人 岳广辉　李苑　汪天富　周天薇　 武泓吕　魏佩珊　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 丁宇龙 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双模型的眼底图像质量评价方法、 装置 及相关介质 (57)摘要 本发明公开了基于双模型的眼底图像质量 评价方法、 装置及相关介质， 该方法包括： 获取批 量眼底图像， 并选取目标图像； 利用ResNet50网 络对目标图像提取第一局部信息， 以及利用ViT 网络对目标图像提取第一全局信息； 基于第一局 部信息和第一全局信息预测得到目标图像的图 像质量评价结果， 以此构建图像质量评价模型； 利用图像质量评价模型对下一图像进行评价， 得 到图像质量差异信息； 利用损失函数分别对所述 图像质量评价结果和图像质量差异信息进行约 束。 本发明基于双模型对眼底图像进行多任务学 习， 以通过局部和全局相结合的方式对眼底图像 进行评价， 同时利用不同眼底图像 之间的差异信 息， 从而提高对于眼底图像的质量评价效果。 权利要求书2页 说明书7页 附图3页 CN 114882014 A 2022.08.09 CN 114882014 A 1.一种基于双模型的眼底图像质量评价方法， 其特 征在于， 包括： 获取批量眼底图像， 并选取其中一张作为目标图像； 利用ResNet50网络对所述目标 图像提取第一局部信息， 以及利用ViT网络对所述目标 图像提取第一全局信息； 基于所述第 一局部信 息和第一全局信 息预测得到所述目标图像的图像质量评价结果， 以此构建图像质量评价模型； 利用所述图像质量评价模型对所述目标图像的下一图像进行评价， 得到所述目标图像 的图像质量差异信息； 利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。 2.根据权利要求1所述的基于双模型的眼底图像质量评价方法， 其特征在于， 所述利用 ResNet50网络对所述目标图像提取第一局部信息， 包括： 利用ResNet50网络 的输入层对所述目标 图像依次进行卷积、 批量正则化、 Relu激活函 数和最大池化处 理， 以获取 所述目标 特征对应的特 征图； 通过ResNet50网络的中间层的多个3*3卷积对所述特征图进行局部特征提取， 并由输 出层输出对应的第一局部信息 。 3.根据权利要求1所述的基于双模型的眼底图像质量评价方法， 其特征在于， 所述利用 ViT网络对所述目标图像提取第一全局信息， 包括： 利用ViT网络将所述目标图像划分为多个图像块； 对每一图像块进行线性映射和展开操作， 以获取对应的预处 理特征； 基于预处 理特征对每一图像块的相对位置进行位置编码； 将经过位置编码的图像块输入至transformer编码器中， 并由所述transformer编码器 输出对应的第一全局信息 。 4.根据权利要求1所述的基于双模型的眼底图像质量评价方法， 其特征在于， 所述基于 所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果， 包括： 通过全连接层对所述第 一局部信 息和第一全局信 息分别进行线性映射， 对应得到第 一 局部特征向量和第一全局特 征向量； 通过softmax函数对所述第一局部特 征向量和第一全局特 征向量进行归一 化处理； 将归一化处理后的所述第 一局部特征向量和第 一全局特征向量相加取均值， 得到所述 目标图像的图像质量评价结果。 5.根据权利要求4所述的基于双模型的眼底图像质量评价方法， 其特征在于， 所述利用 所述图像质量评价模型对所述目标图像的下一图像进 行评价， 得到所述目标图像的图像质 量差异信息， 包括： 分别利用ResNet5 0网络和ViT网络提取 下一图像的第二局部信息和第二全局信息； 通过全连接层对第 二局部信 息和第二全局信 息分别进行线性映射， 得到第 二局部特征 向量和第二全局特 征向量； 通过softmax函数对所述第二局部特 征向量和第二全局特 征向量进行归一 化处理； 将归一化处理后的所述第 二局部特征向量和第 二全局特征向量相减， 得到所述目标图 像的图像质量差异信息 。 6.根据权利要求1所述的基于双模型的眼底图像质量评价方法， 其特征在于， 所述利用权　利　要　求　书 1/2 页 2 CN 114882014 A 2损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束， 包括： 利用CEloss损失函数对所述图像质量评价结果和所述目标图像对应的标签进行约束； 以及 计算所述目标图像对应的标签和下一图像对应的标签之间的标签差值， 利用CEloss损 失函数对所述图像质量差异信息和所述标签差值进行约束。 7.根据权利要求1所述的基于双模型的眼底图像质量评价方法， 其特 征在于， 还 包括： 采用SGD优化器对所述图像质量评价模型进行优化， 以及采用Accuracy准确率系数对 所述图像质量评价模型进行评价。 8.一种基于双模型的眼底图像质量评价装置， 其特 征在于， 包括： 图像获取 单元， 用于获取批量眼底图像， 并选取其中一张作为目标图像； 第一信息提取单元， 用于利用ResNet50网络对所述目标图像提取第一局部信息， 以及 利用ViT网络对所述目标图像提取第一全局信息； 模型构建单元， 用于基于所述第 一局部信 息和第一全局信 息预测得到所述目标图像的 图像质量评价结果， 以此构建图像质量评价模型； 差异信息获取单元， 用于利用所述图像质量评价模型对所述目标图像的下一图像进行 评价， 得到所述目标图像的图像质量差异信息； 第一约束单元， 用于利用损失函数分别对所述图像质量评价结果和图像质量差异信 息 进行约束。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7任 一项所述的基于双模型的眼底图像质量评价方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于双 模型的眼 底图像质量评价方法。权　利　要　求　书 2/2 页 3 CN 114882014 A 3