(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152378.4 (22)申请日 2022.09.21 (71)申请人 四川大学 地址 610065 四川省成 都市一环路南 一段 24号 (72)发明人 马放之　刘艳丽　邢冠宇　 (74)专利代理 机构 四川力久律师事务所 512 21 专利代理师 任晓扬 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/40(2022.01) G06V 10/42(2022.01) G06V 10/62(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于时空和运动深度学习的驾驶员行为识 别方法及设备 (57)摘要 本发明公开了一种基于时空和运动深度学 习的驾驶员行为识别方法及设备， 属于智能交通 技术领域和计算机视觉领域， 包括获取驾驶员行 为视频段， 并将视频段划分为训练集和测试集； 对训练集和测试集的视频段进行帧采样， 获得视 频帧， 并对视频帧进行图像增强； 并基于训练集 中进行图像增强后的视频帧训练得到基于时空 和运动特征深度学习的驾驶员行为识别网络； 将 测试集中进行图像增强后的视频帧输入到训练 好的驾驶员行为识别网络中， 并输出驾驶行为识 别结果， 通过扩展时空维度的等效感受野有效地 提取全局时空特征， 并且 联合激发原始特征的运 动模式和显著时空特征， 迫使网络关注视频中最 具判别力的特征， 提升了驾驶行为的识别准确 率。 权利要求书2页 说明书9页 附图7页 CN 115482519 A 2022.12.16 CN 115482519 A 1.一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 包括以下步骤： S1： 获取驾驶员行为视频 段， 并将所述视频 段划分为训练集和 测试集； S2： 对所述训练集和所述测试集的视频段进行帧采样， 获得视频帧， 并对所述视频帧进 行图像增强； S3： 并基于所述训练集中进行图像增强后的视频帧训练得到基于时空和运动特征深度 学习的驾驶员行为识别网络； 所述驾驶员行为识别网络以ResNet ‑50为主干， 采用全局时空特征模块替代所述 ResNet‑50残差块中的3 ×3卷积核， 形成替换后的残差块； 再将运动 ‑时空联合注意力模块 插入到所述驾驶员行为识别网络每层的第一个所述替换后的残差块之前， 所述运动 ‑时空 联合注意力模块包括用于激发原始特征运动模式的双路径运动注意力子模块和用于激发 显著时空特 征的时空注意力子模块； S4： 将所述测试集中进行图像增强后的视频帧输入到所述训练好的驾驶员行为识别网 络中， 并输出驾驶行为识别结果。 2.根据权利要求1所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述步骤S1包括预先获取驾驶室的监控视频， 将所述监控视频划分为1S≤t≤3S的 所述驾驶员行为视频 段。 3.根据权利要求1所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述步骤S2包括： 将长度不等的所述视频段均匀的划分为T个子段， 对于所述训练 集的数据， 从每个子段中随机地选择一帧， 对于所述测试集的数据， 从每个子段的固定位置 处选择一帧， 并对所述训练集的视频帧进行随机反转和随机剪裁， 得到所述训练集中进行 图像增强后的视频帧， 对所述测试集的视频帧进行中心裁剪， 得到所述测试集中进行图像 增强后的视频帧。 4.根据权利要求3所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述步骤S3中， 所述全局时空特征模块包括通道分割层、 3层时空卷积层和特征维 度连接层； 其中， 每层所述时空卷积层由1层用于时间建模的卷积核大小为3的一维深度可 分离卷积层和1层用于空间建模的卷积核大小为3 ×3的二维卷积层组成； 每层所述时空卷 积层是并连的， 且相邻的所述时空卷积层之间包括一层特征相加层， 从而形成一种分层残 差连接结构； 所述双路径运动注意力子模块包括用于降维的二维卷积层、 时间维度分割层、 特征差 异性运动建模层、 特征相关性运动建模层、 用于提升运动特征维度的二 维卷积层、 空间平均 化压缩层、 空间最大化压缩层、 用于恢复维度的二维卷积层、 Sigmoid层、 特征相乘层和特征 相加层； 其中， 所述特征差异 性运动建模层由特征相减层和特征维度连接层组成， 所述特征 相关性运动建模层由相关性张量计算层、 Soft ‑Argmax层、 二 维卷积层和特征维度连接层组 成； 所述特征差异性运动建模层和所述特征相关性运动建模层是并连 的， 二者之间包括所 述特征相加层； 所述空间平均化压缩层和所述空间最大化压缩层也是并连的， 二者之间包 括所述特 征相加层； 所述时空注意力 子模块包括张量形状重塑层、 通道平均化压缩层、 通道最大压缩化层、 特征维度连接层、 用于学习时空特征依赖性的三 维卷积层、 Sigmoid层、 张量形状重塑层、 特 征相乘层和特 征相加层； 其中， 所述 通道平均化压缩层和所述 通道最大压缩化层是并连的。权　利　要　求　书 1/2 页 2 CN 115482519 A 25.根据权利要求4所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述驾驶员行为识别网络从上至下包括： 1个所述运动 ‑时空联合注 意力模块加3个 所述替换后的残差块层、 1个所述运动 ‑时空联合注意力模块加4个所述替换后的残差块层、 1个所述运动 ‑时空联合注意力模块加6个所述替换后的残差块层、 1个所述运动 ‑时空联合 注意力模块加3个所述 替换后的残差块层、 全连接层、 时间平均层； 所述全连接层用于对提取的特征进行预测和分类， 所述 时间平均层用于对每个图像增 强后的视频帧的预测结果进行平均， 并输出驾驶行为识别结果。 6.根据权利要求5所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述 步骤S3包括以下步骤： S31： 对输入的T帧图像增强后的视频帧执 行7×7卷积操作得到特 征F； S32： 所述运动 ‑时空联合注意力模块首先对所述特征F使用1 ×1卷积来降低通道维数， 对于降维后的特征Fr， 令时间t处的特征为 然后对相邻的所述图像增强后的视频帧执行 特征差异性 运动建模和特 征相关性 运动建模。 7.根据权利要求6所述的一种基于时空和运动深度学习的驾驶员行为识别方法， 其特 征在于， 所述步骤S 3还包括： 采用交叉熵损失函数进行反向传播， 用ImageNet对 所述驾驶员 行为识别网络进行预训练； 采用SGD作为优化器， 其中权重衰减率和动量分别设置为5e4和 0.9。 8.一种基于时空和运动深度学习的驾驶员行为识别设备， 其特征在于， 包括至少一个 处理器， 以及与所述至少一个处理器通信连接的存储器； 所述存储器存储有可被所述至少 一个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器 能够执行权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115482519 A 3