(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210754184.5 (22)申请日 2022.06.28 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 郭海云　伍虹燕　王金桥　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 基于粗标签辅助的半监督细粒度图像识别 方法和设备 (57)摘要 本发明提供一种基于粗标签辅助的半监督 细粒度图像识别方法和设备， 属于计算机视觉和 模式识别技术领域， 该方法包括： 将待识别图像 利用第一特征提取模型进行特征提取， 得到第一 图像特征； 将第一图像特征利用细粒度层级分类 器进行处理， 得到待识别图像的分类结果； 其中， 第一特征提取模型为基于粗粒度层级的交叉熵 损失、 细粒度层级的交叉熵损失、 目标损失优化 得到的； 目标损失为基于样本与 样本之间关系级 别的第一损失和样本与类中心之间的关系级别 的第二损失得到的。 上述方案的准确性较高。 权利要求书3页 说明书10页 附图2页 CN 115294350 A 2022.11.04 CN 115294350 A 1.一种基于粗标签辅助的半监 督细粒度图像识别方法， 其特 征在于， 包括： 将待识别图像利用第一特 征提取模型进行 特征提取， 得到第一图像特 征； 将所述第一图像特征利用细粒度层级分类器进行处理， 得到所述待识别图像的分类结 果； 其中， 所述第一特征提取模型为基于粗粒度层级的交叉熵损 失、 所述细粒度层级的交 叉熵损失、 目标损失优化得到的； 所述 目标损失为基于样本与样本之间关系级别的第一损 失和样本与类中心之间的关系级别的第二损失得到的。 2.根据权利要求1所述的基于粗标签辅助的半监督细粒度图像识别方法， 其特征在于， 所述第一损失为基于所述粗粒度层级分类器的权重、 第一图像特征、 第二图像特征、 正样本 和负样本确定的； 其中， 所述粗粒度层级分类器的权重包括与第 一图像特征相同粗粒度类别的类中心和 不同粗粒度类别的类中心； 所述第二图像特征为所述待识别图像经过数据扩增后利用第二 特征提取模型提取的图像特征， 所述第二特征提取模型为基于所述第一特征提取模型中的 权重经过指数滑动平均得到的模型； 所述正样本为与所述第一图像特征同属于一个细粒度 类别的样本， 所述负样本表示与所述第一图像特征同属于一个粗粒度类别， 且不同细粒度 类别的负 样本。 3.根据权利要求1或2所述的基于粗标签辅助的半监督细粒度图像识别方法， 其特征在 于， 所述第二损失为基于所述细粒度层级分类器的权重和第 一图像特征确定的； 所述细粒 度层级分类器的权重包括与第一图像特征相同细粒度类别的类中心和 不同细粒度类别的 类中心。 4.根据权利要求2所述的基于粗标签辅助的半监 督细粒度图像识别方法， 其特 征在于， 所述第一损失 为基于公式(1)确定的； 其中， 是正则化操作； 表示粗粒度层级的类别yc的类中心， q表示所述第 一图像特征， P是与q相同类别样本的 数量； τ为超参数； 表示所述第二图像特征； 表示与所述q同属于一个细粒 度类别的正样本； 表示与所述q同属于一个粗粒度类别yc， 且不同细粒度类别的负样本 j； K表示负 样本的数量。 5.根据权利要求3所述的基于粗标签辅助的半监 督细粒度图像识别方法， 其特 征在于， 所述第二损失 为基于公式(2)确定的； 权　利　要　求　书 1/3 页 2 CN 115294350 A 2其中， 是正则化操作； q表示所述第一图像特征， τ为超参数； 表示细粒度层级的 类别y的类中心， 表示细粒度层级第j个 类别的类中心， F表示细粒度类别的数量。 6.根据权利要求2或4所述的基于粗标签辅助的半监督细粒度图像识别方法， 其特征在 于， 所述目标损失 为基于公式(3)确定的； 其中， α 是取值在(0,1)的超参数， 用来权衡所述第一损失和第二损失； 是正则化操作； q 表示所述第一图像特 征， τ 为超参数； 表示细粒度层级的类别y的类中心， k+包括 和 表示所述第二 图像特征； 表示与所述q同属于一个细粒度类别的正样本； k‑表示表示与所述 q同属于一个粗粒度类别yc， 且不同细粒度类别的负样本； 表示与第 一图像特征不同细 粒度类别的类中心。 7.根据权利要求1或2所述的基于粗标签辅助的半监督细粒度图像识别方法， 其特征在 于， 在所述第一特征提取模型和所述细粒度层级分类器的优化过程中， 细粒度层级分类器 的权重， 无需基于所述目标损失进行 更新。 8.一种基于粗标签辅助的半监 督细粒度图像识别装置， 其特 征在于， 包括： 特征提取模块， 用于将待识别图像利用第一特征提取模型进行特征提取， 得到第一图 像特征； 处理模块， 用于将所述第一图像特征利用 细粒度层级分类器进行处理， 得到所述待识 别图像的分类结果； 其中， 所述第一特征提取模型为基于粗粒度层级的交叉熵损 失、 所述细粒度层级的交 叉熵损失、 目标损失优化得到的； 所述 目标损失为基于样本与样本之间关系级别的第一损 失和样本与类中心之间的关系级别的第二损失得到的。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于粗标签辅助的半监 督细粒度图像识别方法。权　利　要　求　书 2/3 页 3 CN 115294350 A 3