(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211159743.4 (22)申请日 2022.09.22 (71)申请人 深圳市凌云视迅科技有限责任公司 地址 518000 广东省深圳市南 山区南山智 园C区2号楼1 1层1101室 (72)发明人 王博帝　彭斌　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　温瑞鑫 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于增量学习的分类模型训练方法和 装置 (57)摘要 本申请涉及深度学习技术领域， 具体而言， 涉及一种基于增量学习的分类模型训练方法和 装置， 一定程度上可以解决在新数据集上训练深 度学习分类模 型， 训练得到新深度学习分类模型 虽能够精确识别新数据特征， 但是却遗忘了在旧 数据上学习到的知识的问题。 所述基于增量学习 的分类模型训练方法包括： 获取混合数据集， 混 合数据集由已有数据集与新数据集整合而成； 加 载旧分类模 型并获取旧分类模型权重， 旧分类模 型基于已有数据集生成； 根据混合数据集进行模 型训练， 生成新分类模型， 其中， 在训练过程中， 以旧模型权重作为新分类模型的初始权重， 并根 据蒸馏误差和拟合误差对初始权重进行迭代更 新。 权利要求书2页 说明书10页 附图2页 CN 115496946 A 2022.12.20 CN 115496946 A 1.一种基于增量学习的分类模型训练方法， 其特 征在于， 所述方法包括： 获取混合数据集， 所述混合数据集由已有数据集与新数据集整合而成； 加载旧分类模型并获取旧分类模型权 重， 所述旧分类模型基于所述已有数据集 生成； 根据所述混合数据集进行模型训练， 生成新分类模型， 其中， 在训练过程中， 以旧模型 权重作为新分类模型的初始权重， 并根据蒸馏误差和拟合误差对所述初始权重进 行迭代更 新； 所述蒸馏误差用于表征新分类模型输出与旧分类模型输出之间的差异， 所述拟合误差 用于表征新分类模型输出与人工标识的真实标签之间的差异。 2.如权利要求1所述的基于增量学习的分类模型训练方法， 其特征在于， 所述在以旧模 型权重作为新分类模型的初始权 重的之前或之后， 所述方法还 包括： 获取所述旧分类模型的精度曲线和学习率曲线， 以及根据 所述精度曲线确定所述旧分 类模型的最优 迭代次数， 所述 最优迭代次数为所述精度曲线中最大精度对应的迭代次数； 以所述最优迭代次数作为所述新分类模型训练时的最大迭代次数、 以及以所述最优迭 代次数的第一预设倍数作为所述 新分类模型的最小迭代次数， 所述第一预设倍数小于1； 根据所述学习率曲线确定所述旧分类模型的最优学习率， 以所述最优学习率的第 二预 设倍数作为所述新分类模型的初始学习率， 所述最优学习率为所述学习率曲线中所述最优 迭代次数对应的学习率， 所述第二预设倍数小于1。 3.如权利要求2所述的基于增量学习的分类模型训练方法， 其特征在于， 所述根据 所述 混合数据集进行模型训练时， 生成所述 新分类模型， 进一 步包括： 根据所述混合数据集进行模型训练， 在满足预设收敛 条件时， 生成所述 新分类模型； 所述预设收敛条件为训练所述新分类模型的迭代次数大于所述最小迭代次数且小于 等于所述 最大迭代次数。 4.如权利要求1所述的基于增量学习的分类模型训练方法， 其特征在于， 所述根据蒸馏 误差和拟合 误差对所述初始权 重进行更新， 进一 步包括： 获取旧分类模型输出、 新分类模型输出和对应的人工标识的真实标签； 计算所述新分类模型输出和所述旧分类模型输出之间的差值得到所述蒸馏误差， 以及 计算所述 新分类模型输出和所述人工标识的真实标签之间的差值得到拟合 误差； 对所述蒸馏误差和所述拟合误差进行加权求和， 得到加权求和值， 并基于加权求和值 对新分类模型的初始权 重进行迭代更新。 5.如权利要求1所述的基于增量学习的分类模型训练方法， 其特征在于， 所述获取混合 数据集， 进一 步包括： 当所述新数据集包含过漏检数据时， 将所述过漏检数据整合到所述已有数据集的训练 集中， 形成所述混合数据集， 其中， 所述过漏检数据为无法被旧分类模型正确预测类型的数 据。 6.如权利要求5所述的基于增量学习的分类模型训练方法， 其特征在于， 所述获取混合 数据集， 进一 步包括： 当所述新数据集不包含过漏检数据时， 按预设比例将所述新数据分为训练集和验证 集； 所述新数据的训练集和验证集分别对应整合到所述已有数据集中的训练集和验证集 中， 形成所述混合数据集。权　利　要　求　书 1/2 页 2 CN 115496946 A 27.如权利要求1、 5、 或6所述的基于增量学习的分类模型训练方法， 其特征在于， 所述获 取混合数据集， 进一 步包括： 对所述已有数据集进行随机采样， 得到随机采样数据集； 将所述随机采样数据集与所述 新数据集进行整合， 得到所述混合数据集。 8.一种基于增量学习的分类模型训练装置， 其特 征在于， 包括： 第一获取模块， 用于获取混合数据集， 所述混合数据集由已有数据集与新数据集整合 而成； 加载模块， 用于加载旧分类模型并获取旧分类模型权重， 所述旧分类模型基于所述已 有数据集 生成； 新模型训练模块， 用于根据所述混合数据集进行模型训练， 生成新分类模型， 其中， 在 训练过程中， 以旧模型权重作为新分类模型 的初始权重， 并根据蒸馏误差和拟合误差对所 述初始权重进 行更新； 所述蒸馏误差用于表征新分类模型输出与旧分类模 型输出之 间的差 异， 所述拟合 误差用于表征新分类模型输出与人工标识的真实标签之间的差异。 9.如权利要求8所述的基于增量学习的分类模型训练装置， 其特征在于， 所述装置还包 括： 第二获取模块， 用于获取所述旧分类模型的精度曲线和学习率曲线， 以及根据所述精 度曲线确定所述旧分类模型的最优迭代次数， 所述最优迭代次数为所述精度曲线中最大精 度对应的迭代次数； 第一确定模块， 用于以所述最优迭代次数作为所述新分类模型训练时的最大迭代次 数、 以及以所述最优迭代 次数的第一预设倍数作为所述新分类模型 的最小迭代次数， 所述 第一预设倍数小于1； 第二确定模块， 用于根据所述学习率曲线确定所述旧分类模型的最优学习率， 以所述 最优学习率的第二预设倍数作为所述新分类模型的初始学习率， 所述最优 学习率为所述学 习率曲线中所述 最优迭代次数对应的学习率， 所述第二预设倍数小于1。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当其在计算机上运行时， 使得所述计算机执行如权利要求1 ‑7任一项所述的基于增量学习 的分类模型训练方法。权　利　要　求　书 2/2 页 3 CN 115496946 A 3