(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210109527.2 (22)申请日 2022.01.28 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市河北 大街西 段438号 (72)发明人 金立生　姚航　华强　许新亮　 郭柏苍　纪丙东　谢宪毅　王胤霖　 雒国凤　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹 (51)Int.Cl. G06V 20/59(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B60W 40/08(2012.01) B60W 50/14(2020.01) B60W 50/16(2020.01) B60W 60/00(2020.01) (54)发明名称 一种分心驾驶行为识别方法、 装置及 存储介 质 (57)摘要 本发明涉及一种分心驾驶行为识别方法， 所 述方法包括下述步骤： 获取人机共驾接管状态下 驾驶人的分心驾驶时序图像数据； 利用训练好的 第一模型或训练好的第二模型首先获取时序图 像数据的空间特征， 在空间特征的基础上获取时 空特征； 将所述时空特征与空间特征进行融合加 强， 进而获得用于分心驾驶行为类别识别分心驾 驶行为特征。 所述方法能够实现准确识别驾驶人 的分心驾驶行为、 降低误接管风险， 从而提升行 车安全性。 权利要求书2页 说明书7页 附图2页 CN 114529889 A 2022.05.24 CN 114529889 A 1.一种分心驾驶行为识别方法， 其特 征在于， 所述方法包括下述 步骤： S100、 获取人机共驾接管状态下驾驶人的分心驾驶时序图像数据； S200、 利用训练好的第一模型或训练好的第二模型基于时序图像数据获取空间特征， 并在空间特 征的基础上获取时空特 征； S300、 将所述时空特征与空间特征进行融合加强， 进而获得用于分心驾驶行为类别识 别分心驾驶行为特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一模型或者第 二模型在训练时采用 的数据集 通过下述步骤获得： S101、 获取含有不同驾驶人的多种驾驶行为的分心数据集； S102、 对同一驾驶人的同一分心驾驶动作图像数据， 获取上下文连续的若干张图像为 一个分心驾驶动作序列； S103、 获得每一个分析驾驶动作序列的种类， 并对所属种类进行标签处理， 进而获得第 一模型或者第二模型的评估数据集， 并将评估数据集分为训练集和 测试集； 所述训练集用于对第 一模型或者第 二模型进行训练， 所述测试集用于对第 一模型或者 第二模型进行验证。 3.根据权利要求1所述的方法， 其特 征在于： 所述第二模型通过知识蒸馏获得第一模型的知识。 4.根据权利要求3所述的方法， 其特征在于， 所述第 二模型通过知识蒸馏获得第 一模型 的知识， 包括下述 步骤： S110、 将训练集输入训练好的第一模型， 将其输出升温T后进行分类处理， 得到第一输 出结果； 所述T大于 0； S111、 将相同训练集输入第二模型， 将其输出作为第二输出 结果； S112、 将第二模型输出 结果升温T后进行分类处 理， 得到第三输出 结果； S113、 将第二输 出结果与实际标签进行交叉熵 计算， 得到第一损失loss1， 将第一输 出结 果与第三输出 结果进行 KL散度计算， 得到第二损失l oss2； S114、 计算总损失函数为： loss总＝ λloss1+(1‑λ )loss2， 0＜ λ＜1 S115、 当总损失函数值满足阈值条件时， 将所述第二模型用于分心驾驶行为类别识别。 5.根据权利要求1所述的方法， 其特 征在于： 所述第一模型为Mobi leNetv3和GRU 级联构成的网络结构； 所述第二模型为GhostNet和GRU 级联构成的网络结构。 6.根据权利要求2所述的方法， 其特 征在于， 所述分心驾驶动作序列至少包括6张图像。 7.根据权利要求2所述的方法， 其特征在于， 所述评估数据集还包括下述处理： 通过高 斯噪声对所述评估数据集进行处 理， 并对其中的训练集进行扩增处 理。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括下述 步骤： 根据识别的分心驾驶种类， 在需要驾驶人接管时， 做出 预警； 所述预警包括声 音提示的预警、 声 音和方向盘震动的双预警。 9.一种分心驾驶行为识别装置， 其特征在于： 包括存储器和处理器， 所述存储器上存储 有能够被处 理器加载并执 行如权利要求1至8中任一种方法的计算机程序。权　利　要　求　书 1/2 页 2 CN 114529889 A 210.一种计算机可读存储介质， 其特征在于： 存储有能够被处理器加载并执行如权利要 求1至8中任一种方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 114529889 A 3