(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211459133.6 (22)申请日 2022.11.18 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 胡季宏　许莹莹　刘婧　陈延伟　 童若锋　林兰芬　李劲松　 (74)专利代理 机构 杭州华进联浙知识产权代理 有限公司 3 3250 专利代理师 范丽霞 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 图像分类模型训练方法、 图像分类方法、 设 备和介质 (57)摘要 本申请涉及一种图像 分类模型训练方法、 图 像分类方法、 设备和介质， 通过将有标签样本输 入至图像分类模型， 得到监督损失； 将无标签样 本输入至图像 分类模型， 得到伪标签和半监督损 失， 无标签样本由无标签数据集进行不同程度的 图像增强处理得到； 根据无标签样 本的伪标签的 属性和对应的图像增强处理的程度， 筛选相应无 标签样本作为图像分类模型中预设分类的正样 本、 负样本和锚点， 将正样 本、 负样本和锚点输入 至损失函数进行计算， 得到对比学习损失， 负样 本携带有不可靠伪标签； 根据监督损失、 半监督 损失和对比学习损失， 确定总损失， 将总损失输 入至图像分类模型进行反向传播 以更新图像分 类模型的参数， 提升了模型的预测精度， 加快了 模型收敛速度。 权利要求书2页 说明书13页 附图3页 CN 115496955 A 2022.12.20 CN 115496955 A 1.一种图像分类模型训练方法， 其特 征在于， 包括： 将有标签样本 输入至所述图像分类模型， 得到监 督损失； 将无标签样本输入至所述图像分类模型， 得到伪标签和半监督损失， 其中， 所述无标签 样本包括第一无标签样 本和第二无标签样本， 所述第一无标签样本和所述第二无标签样本 由无标签数据集进行不同程度的图像增强处 理得到； 根据所述无标签样本的伪标签的属性和对应的图像增强处理的程度， 筛选相应所述无 标签样本作为所述图像 分类模型中预设分类的正样本、 负样本和锚点， 并将所述正样本、 所 述负样本和所述锚点输入至损失函数进 行计算， 得到对比学习损失， 其中， 所述负样本携带 有不可靠伪标签； 根据所述监督损失、 所述半监督损失和所述对比学习损失， 确定总损失， 并将所述总损 失输入至所述图像分类模型进行反向传播以更新所述图像分类模型的参数。 2.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述将无标签样本输入 至所述图像分类模型， 得到伪标签， 包括： 将所述第一无标签样本输入至所述图像分类模型进行前向传播， 得到第一预测结果， 其中， 所述第一无 标签样本由所述无 标签数据集进行弱图像增强处 理得到； 根据所述第一预测结果确定所述伪标签。 3.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述将所述正样本、 所 述负样本和所述锚点输入至损失函数进行计算， 得到对比学习损失， 包括： 将所述第一无标签样本的图像特征向量进行编 号后存储至列表， 并根据 所述图像分类 模型的输出分类 个数设置相应数目的队列； 在所述图像分类模型的每一批次学习过程中， 将所述负样本进行顺序编 号后存储至相 应队列中， 并按照预设长度实时维护所述队列； 从所述队列中随机抽取预设数目的负样本编号， 并根据抽取的所述负样本编号， 从所 述列表中提取相应的图像特 征向量参与所述损失函数的计算。 4.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述将无标签样本输入 至所述图像分类模型， 得到半监 督损失， 包括： 将所述第二无标签样本输入至所述图像分类模型进行前向传播， 得到第二预测结果， 其中， 所述第二无 标签样本由所述无 标签数据集进行强图像增强处 理得到； 在所述伪标签 中选取可靠伪标签与 所述第二预测结果进行交叉熵损失计算， 得到所述 半监督损失。 5.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述根据 所述无标签样 本的伪标签的属性和对应的图像增强处理的程度， 筛选相应所述无标签样本作为所述图像 分类模型中预设 分类的正样本、 负 样本和锚点， 包括： 根据携带有可靠伪标签的所述第一无 标签样本， 确定所述 正样本； 根据携带有不可靠伪标签的所述第一无 标签样本， 确定所述负 样本； 根据携带有可靠伪标签的所述第二无 标签样本， 确定所述锚点。 6.根据权利要求1至权利要求5中任一项所述的图像分类模型训练方法， 其特征在于， 确定所述伪标签的属性包括： 在第一预测结果的最大值大于第一阈值， 且不确定性熵值小于第二阈值的情况下， 将权　利　要　求　书 1/2 页 2 CN 115496955 A 2对应于该第一预测结果的伪标签判定为可靠伪标签； 或者， 在第一预测结果按照置信度降序排列时所述预设分类所处 的位置次序 大于第三阈值， 且不确定性熵值大于第四阈值的情况下， 将对应于该第一预测结果的伪标签判定为不可靠 伪标签； 其中， 所述第 一预测结果通过将所述第 一无标签样本输入至所述图像分类模型进行前 向传播得到 。 7.根据权利要求1至权利要求5中任一项所述的图像分类模型训练方法， 其特征在于， 所述不同程度的图像增强处理包括： 弱图像增强处理， 对所述无标签数据集执行刚性变换； 强图像增强处 理， 对所述无 标签数据集执 行色彩变换和/或仿射变换。 8.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述将所述有标签样本 输入至所述图像分类模型， 得到监 督损失， 包括： 将所述有标签样本 输入至所述图像分类模型进行 前向传播， 得到第三预测结果； 将所述第三预测结果与预设标签样本进行交叉熵损失计算， 得到所述 监督损失。 9.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述根据所述监督损 失、 所述半监 督损失和所述对比学习损失， 确定总损失， 包括： 根据预设系数， 对所述监督损失、 所述半监督损失和所述对比学习损失执行加权求和， 得到所述总损失。 10.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述图像分类模型包 括： 编码器、 分类 器和多层感知机， 所述编码器分别与所述分类 器和所述多层感知机连接 。 11.根据权利要求10所述的图像分类模型训练方法， 其特征在于， 所述将所述总损失输 入至所述图像分类模型进行反向传播以更新所述图像分类模型的参数， 包括： 将所述总损 失输入至所述图像分类模型进行反向传播， 分别计算所述编码器、 所述分 类器和所述多层感知机的参数梯度， 并根据所述 参数梯度更新所述图像分类模型的参数。 12.根据权利要求1所述的图像分类模型训练方法， 其特征在于， 所述有标签样本和无 标签样本包括： 医学图像、 车 载相机拍摄的图像或者 安防监控相机拍摄的图像。 13.一种图像分类方法， 其特征在于， 包括： 将待预测图像输入至图像分类模型， 得到预 测标签； 根据所述预测标签， 得到图像分类结果； 其中， 所述图像 分类模型由权利要求 1至权 利要求12中任一项所述的图像分类模型训练方法训练得到 。 14.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时， 实现权利要求 1至权利要求 12中任一项 所述的图像 分类模型训练方法或者实现权利要求13所述的图像分类方法。 15.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时， 实现权利要求1至权利要求12中任一项所述的图像分类模型训练方法的 步骤或者实现权利要求13所述的图像分类方法的步骤。权　利　要　求　书 2/2 页 3 CN 115496955 A 3