(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210418825.X (22)申请日 2022.04.20 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 李翰卿　李搏　王意如　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 刘晖铭　张颖玲 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 目标检测方法、 模 型训练方法、 装置、 设备及 存储介质 (57)摘要 本申请实施例公开了一种目标检测方法、 模 型训练方法、 装置、 设备及存储介质， 其中， 所述 模型训练方法包括： 获取第一样 本集和第二样本 集； 所述第一样本集中样本数据包括采集的尾部 类别数据， 所述第二样本集中样 本数据为获取的 原始数据； 通过已训练的目标检测模型， 确定所 述第二样 本集中样本数据的候选框； 所述目标检 测模型是利用所述第一样本集中样本数据训练 得到的； 利用所述候选框， 基于所述第二样本集 中样本数据生成第三样本集； 利用所述第一样本 集和所述第三样本集训练长尾目标检测模型的 网络参数。 权利要求书3页 说明书16页 附图5页 CN 114708426 A 2022.07.05 CN 114708426 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取第一样本集和第二样本集； 所述第一样本集中样本数据包括采集的尾部类别数 据， 所述第二样本集中样本数据为获取的原 始数据； 通过已训练的目标检测模型， 确定所述第二样本集中样本数据的候选框； 所述目标检 测模型是利用所述第一样本集中样本数据训练得到的； 利用所述 候选框， 基于所述第二样本集中样本数据生成第三样本集； 利用所述第一样本集和所述第三样本集训练长尾目标检测模型的网络参数。 2.如权利要求1所述的方法， 其特征在于， 所述长尾目标检测模型至少包括用于执行定 位任务的第一分支网络和用于执 行分类任务的第二分支网络； 所述利用所述第一样本集和所述第三样本集训练长尾目标检测模型的网络参数， 包 括： 分别确定所述第一样本集通过所述第一分支网络的回归损失和通过所述第二分支网 络的第一分类损失； 确定所述第三样本集 通过所述第二分支网络的第二分类损失； 基于所述回归损 失、 所述第一分类损 失和所述第二分类损 失， 对所述长尾目标检测模 型的网络参数进行调整； 响应于所述回归损 失、 所述第一分类损 失和所述第二分类损 失均收敛的情况下， 得到 已训练的所述长尾目标检测模型。 3.如权利要求2所述的方法， 其特征在于， 所述长尾目标检测模型还包括骨干网络、 区 域候选网络和感兴趣区域池化网络； 所述分别确定所述第一样本集通过所述第一分支网络的回归损失和通过所述第二分 支网络的第一分类损失， 包括： 通过所述骨干网络对所述第 一样本集中样本数据进行特征提取， 得到的所述第 一样本 集中样本数据对应的第一特 征图； 通过所述 区域候选网络和所述感兴趣区域池化网络， 确定所述第 一样本集中各目标对 象在所述第一特 征图中的感兴趣特 征； 基于所述第 一样本集中样本数据所标注的目标框， 确定所述第 一特征图中的感兴趣区 域通过所述第一分支网络的回归损失； 基于所述第 一样本集中样本数据所标注的类别标签， 确定所述第 一特征图通过所述第 二分支网络的第一分类损失。 4.如权利要求3所述的方法， 其特征在于， 所述确定所述第 三样本集通过所述第 二分支 网络的第二分类损失， 包括： 通过所述骨干网络对所述第 三样本集中样本数据进行特征提取， 得到的所述第 三样本 集中样本数据对应的第二特 征图； 基于所述第 三样本集中样本数据所标注的类别标签， 确定所述第 二特征图通过所述第 二分支网络的第二分类损失。 5.如权利要求1至4任一项所述的方法， 其特征在于， 所述利用所述候选框， 基于所述第 二样本集中样本数据生成第三样本集， 包括： 确定所述第二样本集中样本数据的目标框；权　利　要　求　书 1/3 页 2 CN 114708426 A 2确定所述第二样本集中样本数据中所述 候选框与所述目标框之间的交并比； 基于预设的两个重合阈值和所述交并比， 从所述第 二样本集中选取满足重合条件的候 选框区域作为所述第三样本集。 6.如权利要求5所述的方法， 其特征在于， 所述预设的两个重合阈值包括第 一阈值和第 二阈值， 所述第二阈值小于所述第一阈值； 所述基于预设的两个重合阈值和所述交并比， 从所述第 二样本集中选取满足重合条件 的候选框区域作为所述第三样本集， 包括： 响应于第一候选框与 所述目标框之间的所述交并比大于所述第 一阈值， 从所述第 二样 本集中截取 所述第一 候选框对应的区域作为所述第三样本集的正样本； 响应于第二候选框与 所述目标框之间的所述交并比小于所述第 二阈值， 从所述第 二样 本集中截取 所述第二 候选框对应的区域作为所述第三样本集的负 样本。 7.如权利要求1至6任一项所述的方法， 其特征在于， 所述通过已训练的目标检测模型， 确定所述第二样本集中样本数据的候选 框， 包括： 将所述第二样本集输入到所述已训练 的目标检测模型中； 所述目标检测模型至少包括 区域候选网络； 所述区域 候选网络用于生成样本数据的候选 框； 通过所述目标检测模型的区域 候选网络提取 所述第二样本集中样本数据的候选 框。 8.如权利要求1至7任一项所述的方法， 其特征在于， 所述第二样本集中样本数据为网 络数据； 所述获取第一样本集和第二样本集， 包括： 采集业务场景下的预设数量的真实数据； 对所述真实数据标注类别标签和目标框并作为所述第 一样本集； 所述真实数据的类别 标签包括尾部类别； 基于所述尾部类别， 通过网络获取 所述第二样本集。 9.一种目标检测方法， 其特 征在于， 所述方法包括： 获取待检测图像； 所述待检测图像中至少包括尾部类别的目标对象； 通过已训练的长尾目标检测模型对所述待检测图像进行目标检测， 得到所述目标对象 的检测结果； 其中， 所述长尾目标检测模型为基于 权利要求1至8任一项所述的方法训练得到的。 10.一种目标检测装置， 其特征在于， 所述装置包括第一获取模块和目标检测模块， 其 中： 所述第一获取模块， 用于获取待检测图像； 所述待检测图像中至少包括尾部类别的目 标对象； 所述目标检测模块， 用于通过已训练 的长尾目标检测模型对所述待检测图像进行目标 检测， 得到所述目标对象的检测结果； 其中， 所述长尾目标检测模型为基于 权利要求1至8任一项所述的方法训练得到的。 11.一种模型训练装置， 其特征在于， 所述装置包括第 二获取模块、 候选框确定模块、 样 本扩充模块和联合训练模块， 其中： 所述第二获取模块， 用于获取第 一样本集和第 二样本集； 其中， 所述第 一样本集中样本 数据包括采集的尾部类别数据， 所述第二样本集中样本数据为获取的原 始数据； 所述候选框确定模块， 用于通过已训练的目标检测模型， 确定所述第二样本集中样本权　利　要　求　书 2/3 页 3 CN 114708426 A 3