(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110009.2 (22)申请日 2022.01.29 (71)申请人 新疆爱华盈通信息技 术有限公司 地址 830000 新疆维吾尔自治区乌鲁 木齐 市经济技术开 发区 （头屯河区） 喀纳斯 湖北路455号新疆软件园E2栋8层801 室 (72)发明人 申啸尘　周有喜　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像识别模 型的训练方法、 训练装置和训练 网络 (57)摘要 本申请涉及图像识别模 型的训练方法、 训练 装置、 训练网络和设备终端， 该训练方法通过卷 积神经网络对输入的训练图像数据集进行特征 提取处理， 以得到第一损失函数值， 获取卷积神 经网络中多个中间层输出的特征图， 将各个中间 层输出的特征图分别输入到 各自对应的预设ViT 网络进行特征提取处理， 以得到各个预设ViT网 络各自对应的第二损失函数值， 根据各自对应的 第二损失函数值， 分别对各个预设ViT网络进行 权重和偏 置更新， 根据第一损失函数值和各个预 设ViT网络 各自对应的第二损失函数值对卷积神 经网络进行权重和偏置更新， 循环执行上述步骤 以生成对应的图像识别模型。 上述训练方法能够 将传统的卷积神经网络结构和ViT网络进行融 合。 权利要求书2页 说明书7页 附图6页 CN 114445641 A 2022.05.06 CN 114445641 A 1.一种图像识别模型的训练方法， 其特 征在于， 包括： 通过卷积神经网络对输入的训练图像数据集进行特征提取处理， 以得到所述卷积神经 网络对应的第一损失函数值； 获取所述卷积神经网络中多个中间层输出的特 征图； 将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理， 以得到各个预设ViT网络各自对应的第二损失函数值； 根据各自对应的第二损失函数值， 分别对各个预设ViT网络进行权 重和偏置更新； 根据所述第一损失函数值和各个预设ViT网络各自对应的第二损失函数值对所述卷积 神经网络进行权 重和偏置更新； 循环执行上述步骤， 直至所述卷积神经网络对应的第 一预设损失函数收敛以生成对应 的图像识别模型。 2.根据权利要求1所述的训练方法， 其特征在于， 所述通过卷积神经网络对输入的训练 图像数据集进 行特征提取 处理， 以得到所述卷积神经网络对应的第一损失函数值的步骤包 括： 通过卷积神经网络对输入的训练图像数据集进行特征提取处理， 以生成对应的预测 值； 根据第一预设损 失函数、 所述预测值和预设标注值， 得到所述卷积神经网络对应的第 一损失函数值。 3.根据权利要求2所述的训练方法， 其特征在于， 所述第 一预设损失函数采用交叉熵损 失函数， 所述通过卷积神经网络对输入的训练图像数据集进行特征提取处理， 以生成对应 的预测值的步骤之前还 包括： 基于所述交叉熵损失函数， 将所述训练图像数据集输入到初始卷积神经网络进行训 练， 直至所述交叉熵损失函数收敛， 得到训练收敛后的卷积神经网络 。 4.根据权利要求1所述的训练方法， 其特征在于， 所述中间层为池化层， 所述将各个中 间层输出 的特征图分别输入到各自对应的预设ViT网络进行特征提取处理， 以得到各个预 设ViT网络各自对应的第二损失函数值的步骤 包括： 将所述多个池化层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处 理， 以获取 各自对应的预测标签值； 根据第二预设损失函数、 各个预设ViT网络各自对应的预测标签值和真实标签值， 计算 得到各个预设ViT网络各自对应的第二损失函数值。 5.根据权利要求4所述的训练方法， 其特征在于， 所述将各个中间层输出的特征图分别 输入到各自对应的预设V iT网络进行特征提取 处理， 以得到各个预设V iT网络各自对应的第 二损失函数值的步骤之前还 包括： 基于第二预设损失函数， 将所述训练图像数据集输入到分别输入到各个初始ViT网络 进行训练， 直至所述第二预设损失函数收敛， 得到训练收敛后的各个预设ViT网络 。 6.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述第一损失函数值和所述 第二损失函数值对所述卷积神经网络进行权 重和偏置更新的步骤 包括： 将所述第一损失函数值和所述第 二损失函数值按照预设比例进行加权处理， 以得到加 权后的损失函数值；权　利　要　求　书 1/2 页 2 CN 114445641 A 2根据所述加权后的损失函数值， 通过反 向传播求取梯度对所述卷积神经网络进行权重 和偏置更新。 7.一种图像识别模型的训练网络， 其特 征在于， 包括： 卷积神经网络处理单元， 用于对输入的训练图像数据集进行特征提取处理， 以得到对 应的第一损失函数值以及多个中间层输出的特 征图； ViT网络处理单元， 与所述卷积神经网络处理单元中的多个 中间层的输出端相连接， 用 于将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理， 以 得到各个预设ViT网络各自对应的第二损失函数值； 所述ViT网络处理单元还用于根据所述第二损失函数值对各个预设ViT网络进行权重 和偏置更新； 所述卷积神经网络处理单元还用于根据 所述第一损失函数值和各个预设ViT网络各自 对应的第二损失函数值对自身的卷积神经网络进 行权重和偏置更新， 直至所述卷积神经网 络对应的第一预设损失函数收敛以生成对应的图像识别模型。 8.一种图像识别模型的训练装置， 其特 征在于， 包括： 第一函数值生成单元， 用于通过卷积神经网络对输入的训练图像数据集进行特征提取 处理， 以得到所述卷积神经网络对应的第一损失函数值； 特征图获取 单元， 用于获取 所述卷积神经网络中多个中间层输出的特 征图； 第二函数值生成单元， 用于将各个中间层输出的特征图分别输入到各自对应的预设 ViT网络进行 特征提取处 理， 以得到各个预设ViT网络各自对应的第二损失函数值； 第一更新单元， 用于根据各自对应的第二损失函数值， 分别对各个预设ViT网络进行权 重和偏置更新； 第二更新单元， 用于根据所述第一损失函数值和各个预设ViT网络各自对应的第二损 失函数值对所述卷积神经网络进行权 重和偏置更新； 模型生成单元， 用于当所述卷积神经网络对应的第 一预设损失函数收敛时生成对应的 图像识别模型。 9.一种设备终端， 其特征在于， 所述设备终端包括处理器和存储器， 所述存储器用于存 储计算机程序， 所述处理器运行所述计算机程序以使 所述设备终端 执行权利要求1至6中任 一项所述的训练方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质存储有计算机程序， 所述计算 机程序在被处 理器执行时实施权利要求1至 6中任一项所述的训练方法。权　利　要　求　书 2/2 页 3 CN 114445641 A 3