(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006018.3 (22)申请日 2022.08.22 (71)申请人 招商新智科技有限公司 地址 100022 北京市朝阳区建国路1 18号五 层 申请人 招商局公路网络科技控股 股份有限 公司 (72)发明人 宋建斌　杜渐　段洪琳　吴武勋　 张凯　江子强　姜德宏　徐华　 耿亚玮　武英杰　符锌砂　胡弘毅　 曾彦杰　 (74)专利代理 机构 北京盛广信合知识产权代理 有限公司 161 17 专利代理师 张军艳(51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/776(2022.01) G06V 10/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合数据增强和目标检测网络的抛洒物识 别方法 (57)摘要 本发明公开了融合数据增强和目标检测网 络的抛洒物识别方法,包括以下步骤： 构建抛洒 物图像数据模 型， 根据交通环 境下的历史多公路 场景监控视频， 提取带有抛洒物的图像， 采用人 工标注法获取人工标注好的图像数据集， 并将所 述图像数据集按照一定比例划分为训练集、 验证 集和测试集； 通过数据增强法对 所述训练集和所 述验证集的图像进行预处理， 并将处理后的图像 输入YOLO识别网络进行训练， 获取识别网络模 型； 将所述测试集的图像输入所述识别网络模 型， 进行所述识别网络模型的精度评估， 将实际 多公路场景监控视频中提取图像数据并进行预 处理， 将预处理后的图像输入符合精度要求的识 别网络模型中， 输出识别结果， 识别公路抛洒物。 权利要求书1页 说明书4页 附图1页 CN 115482501 A 2022.12.16 CN 115482501 A 1.融合数据增强和目标检测网络的抛洒物 识别方法， 其特 征在于， 包括以下步骤： 构建抛洒物图像数据模型， 根据交通环境下的历史多公路场景监控视频， 提取带有抛 洒物的图像， 采用人工标注法获取人工标注好的图像数据集， 并将所述图像数据集划分为 训练集、 验证集和 测试集； 通过数据增强法对所述训练集和所述验证集的图像进行预处理， 并将预处理后的图像 输入YOLO识别网络进行训练， 获取识别网络模型； 将所述测试集的图像输入所述识别网络模型， 进行所述识别网络模型的精度评估， 在 实际多公路场景监控视频中提取图像数据并进行预 处理， 将预 处理后的图像输入符合精度 要求的识别网络模型中， 输出识别结果， 识别公路抛洒物。 2.如权利要求1所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 人工标注好的数据集以7:2:1划分为训练集、 验证集与测试集。 3.如权利要求1所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 通过数据增强法对所述训练集和所述验证集的图像进行预处理， 并将处理后的图像输入 YOLO识别网络进行训练， 获取识别网络模型， 具体包括： 通过标准化处理和Mosaic数据增强方法对训练集图像与验证集图像进行预处理， 并导 入YOLO识别网络进行训练， 通过损失传播更新网络识别参数， 获得识别网络模型。 4.如权利要求3所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 所述数据增强法具体包括： 随机从所述训练集或所述验证集中挑选若干张图像进行旋转、 缩放处理， 最后拼接获 得新图像， 保留标注框信息 。 5.如权利要求3所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 获取识别网络模型 具体包括： 在公路抛洒物事件的监控视频中提取若干张图像， 对抛洒物进行人工标注并划分好训 练集与验证集后经预处理和数据增强后处理为640*640的RGB图像， 导入至YOLO识别网络通 过误差传播对网络参数 更新， 重复迭代训练过程 最终获得识别网络模型。 6.如权利要求1所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 所述识别网络模型的精度评估具体包括： 通过所述测试集的图像进行所述识别网络模型的精度评估， 以mAP为指标对所述识别 网络模型作精度评价， 若mAP满足要求， 则将满足精度要求的所述识别网络模型作为进 行实 际视频测试的识别网络模型； 若mAP不满足要求， 则更新样本集与网络初始化参数， 对所述 识别网络模型重新进行训练。 7.如权利要求6所述的融合数据增强和目标检测网络的抛洒物识别方法， 其特征在于， 抛洒物识别精度指标mAP大于等于90％。权　利　要　求　书 1/1 页 2 CN 115482501 A 2融合数据增强和目标 检测网络的抛洒物识别方 法 技术领域 [0001]本发明属于图像识别技术领域， 尤其涉及 一种融合数据增强和目标检测网络的抛 洒物识别方法。 背景技术 [0002]现有基于监控视频识别抛洒物的技术主要是根据大量抛洒物图像数据样本训练 分类器， 结合抛洒物的时空信息特征进行分类， 识别出图像中的抛洒物。 获取视频帧序列, 在所述视频帧序列中提取出运动目标； 对运动目标进 行处理,得到 疑似抛洒物； 获取抛洒物 样本数据,对所述抛洒物样 本数据的像素进 行聚类,得到聚类结果。 获取所述疑似抛洒物的 像素值,对所述像素值在所述聚类结果内的所述疑似抛洒物进 行识别,得到抛洒物。 现有技 术中存在如下缺陷： 大量抛洒物图像数据样本只能通过人工收集并标注， 时间成本较大， 工 作内容重复繁琐； 传统分类器的聚类算法较为简单， 需要结合洒物的时空信息特征作进一 步筛选分类才能获得较好的分类精度； 复杂环境下如雨雪雾天、 黑夜的抛洒物数据图像难 以获取并建立训练数据库， 因此利用常规数据集不足以训练出效果较好的目标识别网络。 因此， 亟需提供融合数据增强和目标检测网络的抛洒物识别方法， 实时识别图像， 提高了图 像识别的精度。 发明内容 [0003]本发明的目的在于提出一种融合数据增强和目标检测网络的抛洒物识别方法， 针 对雨雾天场景下抛洒物图像数据的缺乏问题， 融合数据增强方法从少量训练数据训练适用 的抛洒物检测网络， 并从实时公路监控视频中检测抛洒物， 降低成本且提高了图像识别精 度。 [0004]为实现上述目的， 本发明提供了一种融合数据增强和目标检测网络的抛洒物识别 方法， 包括以下步骤： [0005]构建抛洒物图像数据模型， 根据交通环境下的历史多公路场景监控视频， 提取带 有抛洒物的图像， 采用人工标注法获取人工标注好的图像数据集， 并将所述图像数据集划 分为训练集、 验证集和 测试集； [0006]通过数据增强法对所述训练集和所述验证集的图像进行预处理， 并将预处理后的 图像输入YOLO识别网络进行训练， 获取识别网络模型； [0007]将所述测试集的图像输入所述识别网络模型， 进行所述识别网络模型的精度评 估， 在实际多公路场景监控视频中提取图像数据并进行预处理， 将预处理后的图像输入符 合精度要求的识别网络模型中， 输出识别结果， 识别公路抛洒物。 [0008]可选的， 人工标注好的数据集以7:2:1划分为训练集、 验证集与测试集。 [0009]可选的， 通过数据增强法对所述训练集和所述验证集的图像进行预处理， 并将处 理后的图像输入YOLO识别网络进行训练， 获取识别网络模型， 具体包括： [0010]通过标准化 处理和Mos aic数据增强方法对训练集图像与验证集图像进行预处理，说　明　书 1/4 页 3 CN 115482501 A 3