(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147121.X (22)申请日 2022.09.20 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 李弼　彭楠　希滕　张刚　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 王文思 (51)Int.Cl. G06V 10/771(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 深度学习模 型的训练方法、 图像处理方法和 装置 (57)摘要 本公开提供了一种深度学习模型的训练方 法， 涉及人工智能、 深度学习和计算机视觉 领域。 具体实现方案为： 深度学习模型包括级联的L个 特征计算层； 从样本图像的M个特征中确定部分 特征作为第1层的冗余特征， 将M个特征中除冗余 特征外的剩余特征输入第1层， 得到第1层的输出 特征， 其中， M为大于等于2 的整数； 将第i层的输 出特征和第i层的冗余特征组成第i+1层的全量 特征， 从第i+1层的全量特征中确定部分特征作 为第i+1层的冗余特征， 将第i+1层的全量特征中 除第i+1层的冗余特征外的剩余特征输入第i+1 层， 得到第i+1层的输 出特征， 其中， i＝1， ……L‑ 1； 根据第L层的输出特征， 确定深度学习模型的 损失； 以及根据损失， 调整深度学习模型的参数。 权利要求书3页 说明书10页 附图6页 CN 115482422 A 2022.12.16 CN 115482422 A 1.一种深度学习模型的训练方法， 所述深度学习模型包括级联的L个特征计算层， L为 大于等于2的整数； 所述方法包括： 从样本图像的M个特征中确定部分特征作为第1层的冗余特征， 将所述M个特征中除所 述冗余特 征外的剩余特 征输入第1层， 得到第1层的输出 特征， 其中， M为大于等于2的整数； 将第i层的输出特征和第i层的冗余特征组成第i+1层的全量特征， 从所述第i+1层的全 量特征中确定部分特征作为第i+1层的冗余特征， 将所述第i+1层的全量特征中除所述第i + 1层的冗余特征外的剩余特征输入第i +1层， 得到第i +1层的输出特征， 其中， i＝1， ......L ‑ 1； 根据第L层的输出 特征， 确定所述深度学习模型的损失； 以及 根据所述损失， 调整所述深度学习模型的参数。 2.根据权利要求1所述的方法， 其中， 所述 L个特征计算层各自具有丢弃概 率； 所述从样本图像的M个特 征中确定 部分特征作为第1层的冗余特 征包括： 根据所述第1层的丢弃概率， 从所述样本图像的M个特征中确定部分特征作为第1层的 冗余特征； 所述从所述第i+1层的全量特 征中确定 部分特征作为第i+1层的冗余特 征包括： 根据所述第i+1层的丢弃概率， 从所述第i+1层的全量特征中确定部分特征作为第i+1 层的冗余特 征。 3.根据权利要求2所述的方法， 其中， 所述L个特征计算层各自的丢弃概率相同； 或者， 所述L个特征计算层各自的丢弃概 率随着层数递增而增大。 4.根据权利要求3所述的方法， 其中， 所述L个特征计算层各自的丢弃概率随着层数递 增而增大包括： 根据以下公式确定所述丢弃概 率： Pi＝b*i PL＝b*L 其中， Pi表示第i层的丢弃概 率， PL表示第L层的丢弃概 率， b为大于 0小于1的常数。 5.根据权利要求1至4中任一项所述的方法， 还 包括： 将所述样本图像划分为M个图像块； 以及 确定所述M个图像块各自的特 征， 得到所述样本图像的M个特 征。 6.根据权利要求1至5 中任一项所述的方法， 其中， 所述样本图像具有标签； 所述根据第 L层的输出 特征， 确定所述深度学习模型的损失包括： 将所述第L层的输出 特征和所述第L层的冗余特 征确定为目标输出 特征； 根据所述目标输出 特征， 确定所述样本图像的处 理结果； 以及 根据所述处 理结果和所述标签， 确定所述深度学习模型的损失。 7.根据权利要求6所述的方法， 其中， 所述处理结果和所述标签具有一致类型， 所述一 致类型包括样本图像的类别、 样本图像中的目标对象的位置以及样本图像中的文本信息中 的之一。 8.一种深度学习模型的测试方法， 其中， 所述深度学习模型是根据权利要求1至7中任 一项所述的方法进行训练得到的； 所述方法包括： 将测试图像的N个特征输入所述深度学习模型的第1层， 得到第1层的N个输出特征， 其 中， N为大于等于2的整数；权　利　要　求　书 1/3 页 2 CN 115482422 A 2将第i层的N个输出特征输入第i+1层， 得到第i+1层的N个输出特征， i＝1， ......L ‑1； 以及 根据第L层的N个输出 特征， 确定测试 结果。 9.根据权利要求8所述的方法， 还 包括： 将所述测试图像划分为 N个图像块； 以及 确定所述 N个图像块各自的特 征， 得到所述测试图像的N个特 征。 10.一种图像处 理方法， 包括： 获取待处 理图像； 以及 将所述待处理图像输入深度学习模型， 得到所述待处理图像的处理结果， 其中所述处 理结果包括所述待处理图像的类别、 所述待处理图像中目标对象的位置以及所述待处理图 像中的文本信息中的之一； 其中， 所述深度学习模型 是根据权利要求1至7中任一项所述的方法进行训练得到的。 11.一种深度 学习模型的训练装置， 所述深度 学习模型包括级联的L个特征计算层， L为 大于等于2的整数； 所述装置包括： 第一处理模块， 用于从样本图像的M个特征中确定部分特征作为第1层的冗余特征， 将 所述M个特征中除所述冗余特征外的剩余特征输入第1层， 得到第1层的输出特征， 其中， M为 大于等于2的整数； 第二处理模块， 用于将第i层的输出特征和第i层的冗余特征组成第i+1层的全量特征， 从所述第i+1层的全量特征中确 定部分特征作为第i+1层的冗余特征， 将所述第i+1层的全 量特征中除所述第i +1层的冗余特征外的剩余特征输入第i+1层， 得到第i +1层的输出特征， 其中， i＝1， ......L‑1； 第一确定模块， 用于根据第L层的输出 特征， 确定所述深度学习模型的损失； 以及 调整模块， 用于根据所述损失， 调整所述深度学习模型的参数。 12.根据权利要求1 1所述的装置， 其中， 所述 L个特征计算层各自具有丢弃概 率； 所述第一处理模块， 用于根据所述第1层的丢弃概率， 从所述样本图像的M个特征中确 定部分特征作为第1层的冗余特 征； 所述第二处理模块， 用于根据所述第i+1层的丢弃概率， 从所述第i+1层的全量特征中 确定部分特征作为第i+1层的冗余特 征。 13.根据权利要求12所述的装置， 其中， 所述L个特征计算层各自的丢弃概率相同； 或 者， 所述L个特征计算层各自的丢弃概 率随着层数递增而增大。 14.根据权利要求13所述的装置， 其中， 所述L个特征计算层各自的丢弃概率随着层数 递增而增大包括： 根据以下公式确定所述丢弃概 率： Pi＝b*i PL＝b*L 其中， Pi表示第i层的丢弃概 率， PL表示第L层的丢弃概 率， b为大于 0小于1的常数。 15.根据权利要求1 1至14中任一项所述的装置， 还 包括： 第一划分模块， 用于将所述样本图像划分为M个图像块； 以及 第二确定模块， 用于确定所述M个图像块各自的特 征， 得到所述样本图像的M个特 征。 16.根据权利要求11至15中任一项所述的装置， 其中， 所述样本图像具有标签； 所述第权　利　要　求　书 2/3 页 3 CN 115482422 A 3