(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211151337.3 (22)申请日 2022.09.21 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 冯伟　张政　吕晶晶　庞新强　 王维珍　李耀宇　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06T 3/40(2006.01) G06V 10/44(2022.01) (54)发明名称 模型训练方法、 图像分类方法和装置 (57)摘要 本公开的实施例提供了一种模 型训练方法、 图像分类方法和装置。 所述模型训练方法包括： 首先获取训练样本集， 该训练样 本集包括样本物 品对应的样 本图像和样本图像的样 本分类结果， 样本图像由样本物品对应的样本首图和样本主 图组成， 然后构建包括残差神经网络和分类网络 的初始模型， 最后利用机器学习方法， 将样本图 像作为残差神经网络的输入， 获取样本首图对应 的第一特征向量和样本主图对应的第二特征向 量， 将残差神经网络输出的第一特征向量和第二 特征向量作为分类网络的输入， 样 本图像的样本 分类结果作为期望输出， 对初始模型进行训练， 得到图像分类模 型， 能够对所构成的样本图像提 取特征、 构成特征向量和预测分类结果， 实现主 图是否合格的判别。 权利要求书3页 说明书16页 附图6页 CN 115482415 A 2022.12.16 CN 115482415 A 1.一种模型训练方法， 所述方法包括： 获取训练样本集， 其中， 所述训练样本集包括样本物品对应的样本 图像和所述样本 图 像的样本分类结果， 所述样本图像由所述样本物品对应的样本首图和样本主图组成； 构建包括残差神经网络和分类网络的初始模型； 利用机器学习方法， 将所述样本 图像作为所述残差神经网络的输入， 获取所述样本首 图对应的第一特征向量和所述样本主图对应的第二特征向量， 将所述残差神经网络输出的 所述第一特征向量和所述第二特征向量作为所述分类网络的输入， 所述样本图像的样本分 类结果作为期望 输出， 对所述初始模型进行训练， 得到图像分类模型。 2.根据权利要求1所述的方法， 其中， 所述获取训练样本集， 包括： 针对多个样本物品， 获取每 个样本物品对应的样本首图和多张样本主图； 对每个样本物品的多张样本主图进行分类， 得到所述多张样本主图的样本分类结果； 将每个样本物品的样本首图分别和对应的每张样本主图进行图像拼接， 得到由所述样 本首图和所述样本主图组成的多张样本图像； 基于所述多个样本物品对应的多张样本图像和每张样本图像中样本主图的样本分类 结果， 获取 所述训练样本集。 3.根据权利要求2所述的方法， 其中， 所述将每个样本物品的样本首图分别和对应的每 张样本主图进行图像拼接， 得到由所述样本首图和所述样本主图组成的多张样本图像， 包 括： 针对每个样本物品， 分别将样本首图和每张样本主图进行图像拼接， 得到多张拼接 图 像； 对所述多张拼接图像中的样本首图进行图像处 理， 得到多张处 理后的拼接图像； 对所述多 张处理后的拼接图像进行缩放处理， 得到由所述样本首图和所述样本主图组 成的多张样本图像。 4.根据权利要求3所述的方法， 其中， 所述对所述多 张拼接图像中的样本首图进行图像 处理， 得到多张处 理后的拼接图像， 包括： 对所述多 张拼接图像中的样本首图进行随机反转， 得到包括第 一样本首图的多 张第一 拼接图像； 对所述多 张第一拼接图像中的第 一样本首图进行像素处理， 得到多 张处理后的拼接图 像。 5.根据权利要求2所述的方法， 其中， 所述对每个样本物品的多张样本主图进行分类， 得到所述多张样本主图的样本分类结果， 包括： 对每个样本物品的多张样本主图进行分类， 确定出每个样本物品的多张样本主图中的 合格样本主图和不 合格样本主图； 对所述不合格样本主图进行类别分类， 得到所述不合格样本主图对应的样本分类结 果； 基于所述合格样本主图的样本分类结果和所述不合格样本主图对应的样本分类结果， 得到所述多张样本主图的样本分类结果。 6.根据权利要求1所述的方法， 其中， 所述残差神经网络包括卷积层和池化层； 以及， 所述利用机器学习方法， 将所述样本 图像作为所述残差神经网络的输入， 获取所述样权　利　要　求　书 1/3 页 2 CN 115482415 A 2本首图对应的第一特征向量和所述样本主图对应的第二特征向量， 将所述残差神经网络输 出的所述第一特征向量和所述第二特征向量作为所述分类网络的输入， 所述样本图像的样 本分类结果作为期望 输出， 对所述初始模型进行训练， 得到图像分类模型， 包括： 利用机器学习方法， 将所述样本 图像作为所述残差神经网络的输入， 通过所述卷积层 对所述样本图像进 行特征提取， 获取到所述样 本图像对应的图像特征， 其中， 所述图像特征 包括所述样本首图的第一特 征和所述样本主图的第二特 征； 通过所述池化层 分别对所述第 一特征和所述第 二特征进行池化处理， 得到所述样本首 图对应的第一特 征向量和所述样本主图对应的第二特 征向量； 将所述第一特征向量和所述第 二特征向量进行向量拼接， 得到所述样本图像对应的图 像特征向量； 将所述图像特征向量作为所述分类网络的输入， 通过所述分类网络对所述图像特征向 量进行分类预测， 输出 所述样本图像对应的预测分类结果； 基于所述预测分类结果和所述样本 图像的样本分类结果， 对所述初始模型进行训练， 得到所述图像分类模型。 7.一种图像分类方法， 所述方法包括： 获取目标物品对应的目标 首图和多张目标主图； 基于所述目标 首图和所述多张目标主图， 获取 所述目标物品对应的多张目标图像； 将所述多张目标图像输入至 图像分类模型， 得到所述多张目标主图对应的分类结果， 其中， 所述图像分类模型基于上述上述权利要求1 ‑6任意一项方法获取。 8.根据权利要求7所述的方法， 其中， 所述分类结果包括合格主图对应的置信度； 以及， 所述方法还 包括： 针对每张目标主图对应的分类结果， 判断所述合格主图对应的置信度 是否大于所述预 设阈值； 响应于确定所述合格主图对应的置信度大于所述预设阈值， 确定所述目标主图为合格 目标主图； 响应于确定所述合格主图对应的置信度不大于所述预设阈值， 确定所述目标主图为不 合格目标主图。 9.一种模型训练装置， 所述装置包括： 获取模块， 被配置成获取训练样本集， 其中， 所述训练样本集包括样本物品对应的样本 图像和所述样本图像的样本 分类结果， 所述样本图像由所述样本物品对应的样本首图和样 本主图组成； 构建模块， 被 配置成构建包括残差神经网络和分类网络的初始模型； 训练模块， 被配置成利用机器学习方法， 将所述样本 图像作为所述残差神经网络的输 入， 获取所述样本首图对应的第一特征向量和所述样本主图对应的第二特征向量， 将所述 残差神经网络输出的所述第一特征向量和所述第二特征向量作为所述分类网络的输入， 所 述样本图像的样本分类结果作为期望 输出， 对所述初始模型进行训练， 得到图像分类模型。 10.根据权利要求9所述的装置， 其中， 所述获取模块， 进一 步被配置成： 针对多个样本物品， 获取每 个样本物品对应的样本首图和多张样本主图； 对每个样本物品的多张样本主图进行分类， 得到所述多张样本主图的样本分类结果；权　利　要　求　书 2/3 页 3 CN 115482415 A 3