(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230870.9 (22)申请日 2022.10.10 (71)申请人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 耿焕同　候蒙蒙　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 罗运红 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/10(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 40/10(2022.01) G06V 40/20(2022.01) (54)发明名称 基于多任务学习的实时高速公路行人闯入 事件检测方法 (57)摘要 本发明提供了一种基于多任务学习的实时 高速公路行人闯入事件检测方法， 所述方法包括 以下步骤： 1） 从高速公路摄像头中获取数据集； 2） 对数据集进行数据增强； 3） 对增强后的数据集 进行行人检测标注与道路分割标注； 4） 构建多任 务学习神经网络模型； 5） 根据增强处理后的训练 数据集对多任务学习神经网络进行训练； 6） 根据 训练后的多任务学习神经网络对实时高速公路 图像进行行人检测与道路分割； 7） 判断行人是否 在高速公路上， 并对高速公路上的行人进行标 记、 预警。 本发明的技术方案能够通过训练一个 多任务学习神经网络模型来同时实现道路分割 和行人检测， 从而满足高速公路场景下行人闯入 事件检测的实时性和准确性。 权利要求书3页 说明书8页 附图3页 CN 115311458 A 2022.11.08 CN 115311458 A 1.一种基于多任务学习的实时高速公路行人闯入事件检测方法， 其特征在于， 该方法 包括如下步骤： S1、 从高速公路摄 像头中获取 数据集； S2、 对获取的数据集进行 数据增强； S3、 对数据增强后的数据集进行 行人检测标注与道路分割标注以构建数据集； S4、 构建多任务学习神经网络模型； S5、 根据数据增强后的数据集对多任务学习神经网络进行训练； S6、 根据训练后的多任务学习神经网络模型对实时高速公路图像进行行人检测和道路 分割； S7、 判断行 人是否在高速公路上， 并对高速公路上的行 人进行标记和预警。 2.根据权利要求1所述的一种基于多任务学习的实时高速公路行人闯入事件检测方 法， 其特征在于， 步骤S1中， 对高速公路上摄像头获取的视频以预设帧率获取原始图像， 其 中， 原始图像包 含高速公路上不同时段、 不同角度摄 像头下所拍摄的图像。 3.根据权利要求1所述的一种基于多任务学习的实时高速公路行人闯入事件检测方 法， 其特征在于， 步骤S2中， 对获取的数据集进行 数据增强的方法如下： （1） 将原 始图像进行几何变换： 随机图像旋转： 将原 始图像进行 ‑15度至+15度之间随机 旋转生成新的图像； 随机水平翻转： 将原 始图像进行随机水平翻转 生成新的图像； （2） 将原始图像进行裁剪与拼接： 将图像从纵 向均等切分为p1、 p2、 p3三个部分， 若p1中 含有行人并且 行人未被截断， 则p1复制两份p11， p12， 再将p1， p11， p12按照纵向拼接成新的 图像； （3） 对原始图像进行行人增加： 随机在所有图像上增加预设数量的行人以增加高速公 路上的行 人样本数量； 经过步骤 （1） ‑（3） 数据增强后得到增强后的数据集。 4.根据权利要求1所述的一种基于多任务学习的实时高速公路行人闯入事件检测方 法， 其特征在于， 步骤S 3中， 对增强后的数据集中的每一张图像 分别进行行人检测标注与道 路分割标注， 其方法如下： 将增强后的原始图像输入到yolov5模型中自动标注以获取初步的行人标注文件， 每张 图像对应一个txt标注文件， txt文件中记录该原始图像中所有的行人信息， txt文件中多 行 代表有多个行人， 每一行表示该图像中的一个行人记录， 该记录包含类别代号id， 标注框的 中心点横坐标与原图宽的比例center_x， 标注框的中心点纵坐标与原图高的比例center_ y， 标注框的宽与原图宽的比例w以及标注框的高与原图高的比例h； 利用Lableme标注工具中的矩形标注按钮对上述自动标注的信息进行修正， 将非行人 标注成行人的情况删除； 将未被标注的行人， 手动添加标注； 将标注框有 所偏移的情况进 行 修正， 将修正完成后的txt标注文件作为该图像的行 人检测标注文件； 对同一张原始图像利用Lableme标注工具中的多边形标注按钮对图像中的道路区域以 选点连线的方式形成封闭多边形， 将多边形内的道路区域的像素值置为 1， 多边形外的背 景 像素值置为0， 生成像素值只含有0与1的图像， 将生成的图像作为该图像的分割 标注文件； 将一张原始图像对应一个行人检测的txt标注文件以及一张分割 标注图像， 所有原始图像权　利　要　求　书 1/3 页 2 CN 115311458 A 2经过上述操作得到多个txt标注文件以及分割标注图像以构成多任务数据集； 并且， 将上述 多任务数据集按照3： 1比例划分为训练集与测试集。 5.根据权利要求1所述的一种基于多任务学习的实时高速公路行人闯入事件检测方 法， 其特征在于， 步骤S4中， 构建多任务学习神经网络模型包括共享模块、 检测模块、 分割模 块； a、 共享模块： 所述共享模块是由yolov5的第一层至第十六层构成， 图像经过共享模块 后得到的特 征图尺寸 为输入图像的八 分之一， 并且， 得到的特 征图通道数为25 6； b、 检测模块： 所述检测模块是由yolov5的第十六层至第二十四层构成， 与共享模块进 行串联， 将共享模块得到的特征图输入到检测模块中， 通过检测模块后得到行人预测结果， 其包含预测出的行人边界框总数量N、 每个行人边界框对应的分类预测值、 置信度预测值， 标注框的中心点横坐标与 原图宽的比例center_x， 标注框的中心 点纵坐标与原图高的比例 center_y， 标注框的宽与 原图宽的比例w以及标注框的高与原图高的比例h， 其中， 置信度预 测值表示该边界框中包 含行人对象的确定性 概率， 且置信度预测值∈[0， 1]； c、 分割模块： 所述分割模块与共享模块进行串联， 与检测模块进行并联， 分割模块共包 含9层， 依次是CBS层F 1、 Upsample上采样层F2、 C3_1_2层F3、 CBS层F4、 Upsample上采样层F5、 CBS层F6、 C 3_1_2层F 7、 上采样层F8以及CBS层F9； 其中， 将共享模块得到的特征图先输入到F1层， F1层包含一个核大小为3*3的卷积 CONV， 此时特征图的通道数从256降维至128， 特征图的尺寸为输入图像的八分之一； 从F1得 到的特征图输入到F2层， 将特征图的尺寸上采样2 倍， 此时特征图尺寸为输入图像的四分之 一， 通道数不变； 接着输入到F3层， 将特征图的通道数从128降维至64， 特征图的尺寸不变； 接着输入到F4层， 将特征图的通道数从64降维至32， 特征图的尺寸不变； 接着输入到F5层， 将特征图的尺寸上采样2倍， 此时特征图尺寸为输入图像的二分之一， 通道数不变； 接着输 入到F6层， 将特征图的通道数从32降维至16， 特征图的尺寸不变； 接着输入到F7层， 将特征 图的通道数从16降维至8， 特征图的尺寸不变； 接着输入到F8层， 将特征图的尺寸上采样2 倍， 恢复成输入图像的大小， 并且通道数不变； 接着 输入到F9层， 将特征图的通道数从8降维 至1， 特征图的尺寸不变， 其为输入图像的大小； 通过分割模块后， 输出一张与输入图像大小 相同的特征图， 其中， 特征图中的每一个值对应输入图像的每个位置对应的类别值， 而且， 预测的类别值 为0， 代表该位置为背景部分， 预测的类别值 为1， 代表该位置为道路部分。 6.根据权利要求5所述的一种基于多任务学习的实时高速公路行人闯入事件检测方 法， 其特征在于， 步骤S5， 根据数据增强后的数据集对多任务学习神经网络进行训练， 其包 括如下步骤； 随机选取数据增强后的训练集中S个图像数据{x(1),…,x(s)}输入到多任务模型中， 得 到相应的输出预测结果{y(1),…, y(s)}； 每个图像的输出预测结果包含检测结果以及分割 结果两个部分， 其中， 检测结果包含预测出的行人边界框总数量N、 每个行人边界框对应的 分类预测值、 置信度预测值， 标注框的中心 点横坐标与原图宽的比例center_x， 标注框的中 心点纵坐标与原图高的比例center_y， 标注框的宽与原图宽的比例w以及标注框的高与原 图高的比例h； 分割结果输出一张与输入图像大小相同的特征图， 特征图中的每一个值对应 输入图像的每个位置对应的类别值， 其中， 预测的类别值为0， 代表该位置为背 景部分， 预测 的类别值为 1， 代表该位置为道路部 分， 根据多任务模型的损失函数， 通过反向传播算法， 更权　利　要　求　书 2/3 页 3 CN 115311458 A 3