(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210732395.9 (22)申请日 2022.06.27 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 (72)发明人 胡宏宇　张争光　王琦　高振海　 (74)专利代理 机构 长春吉大专利代理有限责任 公司 22201 专利代理师 王淑秋　朱世林 (51)Int.Cl. B60W 60/00(2020.01) B60W 50/14(2020.01) B60W 30/12(2020.01) B60W 40/06(2012.01) G06V 20/56(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双流卷积神经网络的车道偏离预 警方法 (57)摘要 本发明公开了一种基于双流卷积神经网络 的车道偏离预警方法， 该方法包括以下步骤： 将 一段摄像头采集的包含车道信息的视频分成多 个等长不重叠的分段， 对每个分段分别进行稀 疏 采样； 将每个 分段采样得到的静态帧图像和光流 图像分别输入到空间流卷积神经网络和时间流 卷积神经网络进行特征提取； 将各个 分段提取的 空间特征和时间特征分别进行特征融合； 将融合 后的时间特征和空间特征进行特征集成； 将集成 特征输入分类器， 得到分类结果； 根据分类结果 判断车道偏 离情况并进行车道偏 离预警。 相比其 他车道偏 离预警方法， 该方法只需要根据车道视 频信息而不需要结合车辆信息就可以实现车道 偏离判断； 该方法所需要输入的信息少， 并且简 化了车道偏离判断过程。 权利要求书1页 说明书5页 附图4页 CN 114987551 A 2022.09.02 CN 114987551 A 1.一种基于双流卷积神经网络的车道偏离预警方法， 其特 征在于， 包括以下步骤： (1)将车载摄像头采集的包含车道信息的一段视频分成K个等长不重叠的分段{S1， S2，…SK}， 对于每 一段视频我们可以从中提 取出单帧静态图像以及相邻帧之间光流图像， 对 每个分段中的静态图像和光 流图像分别进行稀疏采样； (2)将各个分段{S1， S2，…SK}采样得到 的静态帧图像依次输入双流卷积神经网络中的 空间流卷积神经网络提取图像中车道线的空间特征； 将各个分段{S1， S2，…SK}采样得到的 光流图像依次输入双流卷积神经网络中的时间流卷积神经网络提取视频相邻帧之间的时 间特征； (3)将各个分段提取的空间特征进行特征融合得到融合空间特征， 将各个分段提取的 时间特征进行特征融合得到融合时间特 征； (4)将融合后的时间特 征和空间特 征进行特征集成； (5)将集成特 征输入分类 器， 得到分类结果； (6)根据分类结果判断车道偏离情况并进行 车道偏离预警。 2.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 在对视频 的每个分段分别进行稀疏采样时， 每个分段需要采样单帧静态图像作为空间 流卷积神经网络的输入， 同时， 每个分段还需要采样相邻帧的水平和垂直光流并堆叠形成 堆叠光流图像作为时间流卷积神经网络的输入。 3.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 所述空间流卷积神经网络和时间流卷积神经网络均采用ResNet50作为主干网络； 空间 流卷积神经网络用于提取图像中车道线的空间特征； 时间流卷积神经网络用于提取视频相 邻帧之间的时间特 征， 即提取视频中车道线的运动信息； 各分段共享网络的权 重参数。 4.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 对于各个分段在空间流卷积神经网络提取 的空间特征采用均值、 方差或最大值进行空 间特征融合， 对于各个分段在时间流卷积神经网络提取 的时间特征也采用均值、 最大值或 方差进行时间特 征融合。 5.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 所述特征集成是指对各分段融合后的空间特征和时间特征进行加权求和， 得到最终的 输出特征。 6.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 将车道偏离判断视为一个分类 问题， 一共有三个类别， 即车辆 向车道左侧偏离， 车辆向 车道右侧偏离和车辆不偏离车道； 分类结果由Softmax函数实现。 7.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法， 其特征在 于： 所述车道偏 离预警， 是针对车辆偏向于左侧车道和右侧车道， 以语音提示或指示灯闪烁 形式进行 车道偏离预警， 提醒驾驶人及时修 正驾驶行为。权　利　要　求　书 1/1 页 2 CN 114987551 A 2一种基于双流 卷积神经 网络的车道偏离 预警方法 技术领域 [0001]本发明属于自动驾驶车辆领域， 特别是涉及一种基于双 流卷积神经网络的车道偏 离预警方法。 背景技术 [0002]近年来， 随着汽车保有量快速增长， 交通事故发生频率也不断增加。 其中， 驾驶人 疲劳、 疏忽等主观因素造成的车道偏离是引发交通事故的一个重要原因。 针对高速行车中 的车道偏离 问题， 车道偏离预警系统以报警的方式提醒驾驶人及时修正驾驶行为， 减少或 避免交通事故的发生， 提高了汽车安全性。 [0003]传统车道偏离预警方法根据摄像头采集的车道图像对路面上的车道线进行识别， 结合车辆位置、 航向角、 车速和加速度等车辆信息对车道偏离预警条件进 行判断。 传统的车 道偏离预警方法将车道线识别和车道偏离预警条件判断分开进行， 车道偏离判断流程复 杂， 并且需要采集的信息较多。 [0004]经过检索， 中国发明专利CN202210106158.1中公开了一种 车道偏离预警方法﹑ 装 置、 车辆和介质。 该方法需要获取车辆行驶的车道信息和车辆状态信息； 根据所述车道信 息， 确定车道偏 离预警条件； 根据所述车道信息和所述车辆状态信息， 确定车辆是否满足所 述车道偏离预警条件； 若满足， 则发出车道偏 离预警。 该方法在判断车道偏 离时需要 结合车 道信息和车辆信息， [0005]而本发明提出的方法只需要获取车道视频信息， 不需要结合车辆信息就可以实现 车道偏离判断， 从而简化了车道偏离判断流 程。 与上述专利不同。 发明内容 [0006]本发明公开了一种基于双流卷积神经网络的车道偏离预警方法。 [0007]本发明的目的是利用双流卷积神经网络对视频中时间特征和空间特征的提取能 力简化车道偏离判断的过程， 为自动 驾驶车辆提供一种基于双流卷积神经网络的车道偏离 预警方法， 以在车辆发生车道偏离时系统以报警的方式提醒驾驶人及时修正驾驶行为， 减 少或避免发生交通事故， 提高汽车的安全性。 [0008]本发明公开了一种只需要采集车道视频信息就可以实现车道偏离判断的方法。 在 视频中， 不仅可以提取出单帧静态图像， 还可以提取出反映视频相邻帧之间时间特征 的光 流图像。 视频中单帧图像包含车道线的空间结构特征， 相邻视频帧之间的光流图像可以反 映视频的时间特征， 即车道线位置的变化， 视频中车道线位置的变化从侧 面反映了车辆相 对于车道线的位置变化， 所以本发明用视频中的时间特征代替车辆信息实现了车道偏离判 断。 [0009]为了实现对视频中的空间特征和时间特征的提取， 本发明使用双流卷积神经网 络。 双流卷积神经网络效仿人体视觉处理过程， 在处理视频静态图像中的环境空间信息的 基础上， 对视频帧序列中的时序信息进行理解。 单独的视频帧图像作为表述空间信息的载说　明　书 1/5 页 3 CN 114987551 A 3