(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381516.6 (22)申请日 2022.11.07 (71)申请人 浙江省人民医院 地址 310014 浙江省杭州市上塘路158号 申请人 浙大城市学院 (72)发明人 沈婷　韩志科　洪朝阳　郑青青　 杨斌　肖涵瑜　 (74)专利代理 机构 北京中知法苑知识产权代理 有限公司 1 1226 专利代理师 景艳伟 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于类别加权网络的眼底照片分类方法与 装置 (57)摘要 本发明提供一种基于类别加权网络的眼底 照片分类方法与装置， 属于图片分类及眼科医学 技术领域。 其中， 本发明的分类方法包括： 读取多 个眼底照片数据及其标签； 将眼底照片数据及其 标签输入类别加权网络， 训练并构建类别加权网 络模型； 读取待识别的眼底照片数据； 将待识别 的眼底照片数据输入类别加权网络模 型， 将模型 输出概率最大的类别作为眼底照片的类型结果。 本发明的类别加权网络模型通过对不同类别数 据给予不同的类别权重， 实现了不同难易数据间 的平衡， 以及， 还通过计算类型梯度范数来对类 别权重提供参考， 避免了在所述模型训练阶段， 研究人员反复实验来手动调整权重的大量时间、 精力上的消耗。 权利要求书4页 说明书14页 附图2页 CN 115424084 A 2022.12.02 CN 115424084 A 1.一种基于类别加权网络的眼底照片分类方法， 其特 征在于， 所述方法包括下述 步骤： 读取多个眼底照片数据及其标签； 将所述眼底照片数据及其标签输入类别加权网络， 训练并构建类别加权网络模型， 包 括： 对所述眼底照片数据进行初步特 征提取， 得到初步 提取特征图； 对所述初步提取特征图分别以通道维度、 像素维度、 类别维度进行特征提取， 分别得到 通道特征图， 像素 特征图和类别特 征图； 将所述通道特征图， 所述像素 特征图和所述类别特 征图进行融合， 得到目标 特征图； 将所述目标 特征图转化为与所述眼底照片标签对应的类型识别结果； 读取待识别的眼底照片数据； 将所述待识别的眼底照片数据输入所述类别加权网络模型， 将所述类别加权网络模型 输出概率最大的类别作为所述眼底照片的类别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述眼底照片数据进行初步特征提 取， 得到初步 提取特征图， 包括： 使用改造的预训练网络对所述眼底照片进行初步的特征提取， 得到所述初步提取特征 图； 其中， 所述改造的预训练网络不包括预训练网络最后的全连接层。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述初步提取特征图以通道维度进 行特征提取， 得到通道特 征图， 包括： 使用像素维度的全局平均池化， 以得到忽 略像素维度的特征， 经过conv_block得到通 道权重分布， 其中， conv_block的结构的具体关系式如下： 其中，CB表示conv_block层， x表示输入conv_block层的特征图， Conv表示1*1的卷积 层， 作为过渡层， 其输出通道数与输入数据 x的通道数相同， BN表示Batch  Normalization，   ReLU和Sigmoid分别表示ReLU激活函数和Sigmo id激活函数， 他们为网络引入非线性因素； 采用通道特 征提取器对初步特 征图以通道维度进行 特征提取， 得到通道特 征图， 其中， 所述通道特征提取器的结构的具体关系式如下： 其中，Fc表示通道特征 图；FB表示初步提取特征图； GAPp表示在像素维度做全局平均池 化；CB表示conv_block层； 表示矩阵点乘， 经过 CB层后得到的通道权重分布与初步提取特 征图FB相点乘。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述初步提取特征图以像素维度进 行特征提取， 得到像素 特征图， 包括： 使用通道维度的全局平均池化， 以得到忽 略通道维度的特征， 经过conv_block得到像 素权重分布； 采用像素 特征提取器对初步特 征图以像素维度进行 特征提取， 得到像素 特征图， 其中， 所述像素 特征提取器的结构的具体关系式如下：权　利　要　求　书 1/4 页 2 CN 115424084 A 2其中，Fp表示像素特征图； GAPc表示通道 维度的全局平均池化； FB表示初步提取特征图； CB表示conv_bl ock层； 表示矩阵点乘， 经过 CB层后得到的通道权 重分布与初步 提取特征图 FB相点乘。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述初步提取特征图以类别维度进 行特征提取， 得到类别特 征图， 包括： 采用1*1的卷积层， 将初步提取特征图 FB的通道扩充为 K层， 得到FK，K的具体关系式如 下： 其中，N表示图片的类型 数，ki表示第i类分配的通道数， K为所有类型的通道总数； 对具有K个通道的特征图 FK按类型通道池化， 以得到忽略通道维度特征的特征图 FK， 所 述忽略通道维度特征的特征图 FN共有N层通道， 每层通道指示一个类型的特征， 具体关系式 如下： 其中，FB表示初步提取特征图， ConvK表示K个1*1的卷积层， GMPK表示对每 层通道执 行一次最大池化； 对FN在像素维度做全局平均池化， 以得到忽略像 素维度的特征图， 经过conv_block得到 类型权重分布， 再与 FN点乘， 以得到初步的类型 特征图 ； 具体关系式如下： 对 执行通道维度的全局平均池化和conv_block得到最终的类型权重分布， 具体关系 式如下： 其中，FT为类型特征图， GAPC表示在通道维度做全局平均池化， CB表示conv_block层， 表示矩阵点乘， 经 过CB层后得到的通道权 重分布与初步 提取特征图FB相点乘。 6.根据权利要求5所述方法， 其特征在于， 所述类型权重采用计算类型梯度范数的方式 得到， 具体关系式如下： 其中，gi表示第i类的类型梯度范数， ni表示第i类的样本数， Lt表示样本 t经过模型后产 生的cros s entropy loss，outt表示i类的样本 t经过模型计算后的直接 输出； 令p=softmax(out)， y 表示样本的o ne‑hot向量表示， 对类型梯度范 数的计算进行简化， 具体关系式如下： 根据不同类型梯度范 数gi的大小比例， 以得到所述类型权 重的大小比例。权　利　要　求　书 2/4 页 3 CN 115424084 A 3