(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041528 8.3 (22)申请日 2022.04.20 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 汤子昕　沈澍　陆俐佳　蔡启航　 耿昕雨　李严　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 20/59(2022.01) G06V 10/26(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度图像的驾驶行为识别方法和 系统 (57)摘要 一种基于深度图像的驾驶行为识别方法和 系统， 包括： 采集驾驶员的深度图像序列， 形成包 含驾驶员上半身骨骼点信息的图像训练集； 进行 深度图像预处理； 分析图像位置信息， 获取深度 图像时间序列并进行归一化处理； 分析图像骨骼 信息， 计算骨骼节点矩阵并进行归一化处理； 利 用改进的VGG ‑16网络处理所得数据， 融合深度图 像序列和骨骼点信息的训练结果， 输出驾驶行为 分类结果。 本方法和系统采用骨骼追踪融合卷积 神经网络与疲劳检测的计算机视觉处理方法， 设 计了一套轻便低复杂 度的边缘系统， 满足了真实 驾驶环境下易部署、 高稳定性的要求， 能够高效、 准确、 及时地检测出驾驶员的违规行为并给予警 示， 从而减少交通安全事故发生的可能性， 为道 路安全保驾护航。 权利要求书2页 说明书6页 附图5页 CN 114694127 A 2022.07.01 CN 114694127 A 1.一种基于深度图像的驾驶行为识别方法， 其特 征在于： 所述识别方法包括如下步骤： S1、 采集驾驶员的深度图像序列， 形成包 含驾驶员上半身骨骼点信息的图像训练集； S2、 对所述训练集进行深度图像预处 理； S3、 进一步分析图像位置信息， 获取深度图像时间序列， 并对深度图像时间序列进行归 一化处理； S4、 进一步分析图像骨骼信息， 计算骨骼节点矩阵， 并对骨骼节点三维矩阵进行归一化 处理； S5、 利用改进的VGG ‑16网络处理所得数据， 融合深度图像序列和骨骼点信息的训练结 果， 输出驾驶行为分类结果。 2.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S1 中， 通过Microsoft  Azure Kinect DK采集驾驶员姿态深度图像序列， 其中每一帧图像包括 RGB信息与距离信息， 距离信息指每一个像素点(x,y)到离摄像头平面最近的平面的距离， 反映景物可 见表面的几何形状。 3.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S2 中， 所述训练集深度图像预 处理， 包括对于由车内复杂环境导致的图像遮挡问题， 修补深度 信息丢失的像素点。 4.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S2 中， 深度信息修补具体为， 对于驾驶员坐姿 上半身不同位置的骨骼， 分别设置骨骼长度均值 L与误差参数σ， 当所采集深度图像相应位置处骨骼长度在[L ‑σ,L+σ ]之间时视作图像信息 完整， 对于 长度不足的位置进行平 滑填充， 得 出骨骼关节特 征向量。 5.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S3 中， 包括如下分步骤： 步骤S3‑1， 将驾驶员姿态深度图像序列的每一帧投影到三个正交 的笛卡尔平面坐标系 上， 提取序列中驾驶员行为的三维结构空间特 征； 步骤S3‑2， 计算每两个连续帧的三维空间特征的绝对差值， 叠加后得到作为神经网络 输入的深度运动图， 即深度图像时间序列。 6.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S4 中， 包括如下分步骤： 步骤S4‑1， 利用驾驶员姿态深度图像中的距离信息检测其上半身行为边缘， 对目标进 行分割后 从背景中提取行为轮廓， 其中仅识别驾驶姿势下人体关键部位的主要骨骼点， 包 括： 头、 双肩中央、 左肩、 左肘关节、 左腕关节、 左手、 右肩、 右肘关节、 右腕关节、 右手、 脊柱中 段， 按照1～1 1的顺序， 对其标号； 步骤S4‑2， 将基于Microsoft  Azure Kinect DK坐标系(x,y,z)的骨骼关节特征向量转 换为骨骼 节点三维矩阵， 其中x、 y、 z方向与RGB图像的R、 G、 B通道一 一对应； 步骤S4‑3， 对所述骨骼节点三维矩阵进行归一化处理， 设置目标帧数为N帧， 选取[0,N] 帧作为归一 化的骨骼运动序列， 多于目标帧的序列截取丢弃， 少于目标帧的序列填 零补充； 步骤S4‑4， 处理后的骨骼节点矩阵尺寸为N ×11×3， 得到作为神经网络输入的骨骼数 据。 7.根据权利要求1所述的一种基于深度图像的驾驶行为识别方法， 其特征在于： 步骤S5权　利　要　求　书 1/2 页 2 CN 114694127 A 2中， 基于双流卷积神经网络思想的改进的VGG ‑16模型， 采用包含五通道的卷积神经网络， 其 中前三个通道用于训练深度运动图， 后两个通道用于训练骨骼节点矩阵与骨骼关节特征向 量； 利用后期融合的方法， 分别将所得驾驶员姿态深度图像的三维空间特征与时间信息、 坐姿上半身骨骼数据的三维运动坐标与拓扑 形状的分类结果进行集成决策输出。 8.一种基于深度图像的驾驶行为识别系统， 其特 征在于： 所述系统包括： 通过Microsoft  Azure Kinect DK内置红外发射装置与红外深度 摄像头收集驾驶员上 半身位置信息， 经过CMOS传感器解码运算后获取包含距离信息的驾驶员姿态深度图像， 即 RGB‑D图像； 采用Nvidia  Jetson Nano作为边缘计算设备， 基于获取的图像进行分析并输出最终识 别结果。 9.根据权利要求8所述的一种基于深度图像的驾驶行为识别系统， 其特征在于： 利用集 成于Nvidia  Jetson Nano开发板中的深度学习的方法分析与提取图像信息， 识别15种不同 驾驶行为， 包括： 正常驾驶， 左手打电话， 左手看手机， 右手打电话， 右手看手机， 与副驾驶位说话， 调中 间仪表， 喝水， 吃东西， 向后转头， 弯腰低头， 手离开方向盘， 眯眼， 打哈欠， 点头 。权　利　要　求　书 2/2 页 3 CN 114694127 A 3