(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211386760.1 (22)申请日 2022.11.07 (71)申请人 联通 （广东） 产业互联网有限公司 地址 510000 广东省广州市黄埔区(中新广 州知识城)亿创街1号 406房之555 (72)发明人 郑祥忠　邱述洪　童荪　甘海华　 (74)专利代理 机构 广州润禾知识产权代理事务 所(普通合伙) 44446 专利代理师 郑永泉 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) (54)发明名称 一种监测驾驶员行为的模型的训练方法、 应 用和系统 (57)摘要 本发明提供一种监测驾驶员行为的模型的 训练方法、 应用和系统， 其中所述训练方法包括： 收集车内摄像头采集到的图像数据集， 并对采集 到的图像进行数据增强处理， 生成训练集； 构建 PFLD的神经网络模型， 并对PFLD的神经网络模型 进行优化， 所述优化包括精简神经网络模型结构 和使用优 化的WingLo ss损失函数； 将增强后的训 练集输入到优化的神经网络模型， 获取训练好的 网络模型。 与现有技术相比， 通过精简神经网络 模型结构， 减少了神经网络模型的占用空间， 更 适合用于低功耗内存较小的车载设备上， 同时减 少了模型训练和计算的时间， 提高了判断效率， 并且通过优化损失函数， 来提高模型训练的精 度， 进而提高驾驶员行为的判断精度。 权利要求书3页 说明书10页 附图3页 CN 115546771 A 2022.12.30 CN 115546771 A 1.一种监测驾驶员行为的模型的训练方法， 其特 征在于， 所述训练方法包括： S11： 收集车内摄像头采集到的图像数据集， 并对采集到的图像进行数据增 强处理， 生 成训练集； S12： 构建PFLD的神经网络模型， 并对PFLD的神经网络模型进行优化， 所述优化包括精 简神经网络模型 结构和使用优化的W ingLoss损失函数； S13： 将步骤S11中增强后的训练集输入到步骤S12优化的神经网络模型， 获取训练好的 网络模型。 2.根据权利要求1所述的一种监测驾驶员行为的模型的训练方法， 其特征在于， 所述数 据增强包括： 将原始数据集基于眼睛相关关键点进行增强处理， 并将增强处理后的数据与原始数据 集1:1混合形成新训练集； 将原始数据集做红外线增强处理， 并将增强处理后的数据集与原始数据集1:1混合形 成新训练集； 将原始数据集做灰度图片增强处理， 并将增强处理后的数据集与原始数据集1:1混合 形成新训练集； 将原始数据集做反光增强处理， 并将增强处理后的数据集与原始数据集1:1混合形成 新训练集； 组合上述增强处理方法后的最优数据集， 并减小数据集的输入图片尺寸， 形成新训练 集。 3.根据权利要求1所述的一种监测驾驶员行为的模型的训练方法， 其特征在于， 所述精 简模型结构具体包括： 去除PFLD神经网络中辅助网络中与输出偏航角、 旋转角和翻滚角相关的神经网络模 块， 只保留人脸关键点相关的模块。 4.根据权利要求3所述的一种监测驾驶员行为的模型的训练方法， 其特征在于， 所述精 简模型结构还包括： 将主干网络backbo ne中的核心模块bot tleneck层改为Depthw ise Conv层。 5.根据权利要求1所述的一种监测驾驶员行为的模型的训练方法， 其特征在于， 所述使 用优化的W ingLoss损失函数 具体包括： 使用WingLoss损失函数进行训练， 所述 WingLoss损失函数如下： 式中， ω为非负数， 用于将非线性部分限制在( ‑ω ,ω)之间， C为常数， 并且 用于保证Wing(x)分段函数的平滑性， ∈用于限制非线性部分的曲 率。 基于所述 WingLoss损失函数为眼睛关键点增 加特殊的权 重惩罚机制， 表达式如下： Loss＝γ.Wing(xeye)+ μ.Wing(xother) 式中， Wing(xeye)为眼睛部 分损失， Wing(xother)为除眼睛部 分之外的损失， γ和 μ的定义权　利　要　求　书 1/3 页 2 CN 115546771 A 2式一般是基于高斯、 对数或指数 形式的表达式， 实现对于区域变化较小时也能得到惩罚。 基于所述 WingLoss损失函数为嘴巴关键点增 加特殊的权 重惩罚机制， 表达式如下： Loss＝γ.Wing(xeye)+ μ.Wing(xother) 式中， Wing(xcriterion)为嘴巴部分损失， W ing(xother)为除嘴巴部分之外的损失。 6.一种监测驾驶员行为的模型的应用， 所述模型为根据权利要求1 ‑5任一项一种监测 驾驶员行为的模型的训练方法训练的模型， 其特 征在于， 所述应用包括： S21： 获取当前驾驶室摄像头采集到的图像数据， 输入训练好的网络模型， 生成人脸关 键点信息； S22： 根据步骤S21中的人脸关键点信息计算判断驾驶员的状态。 7.根据权利要求6所述的一种监测驾驶员行为的模型的应用， 其特征在于， 所述根据 人 脸关键点信息计算判断驾驶员的状态包括： 通过人脸关键点信息确定正侧脸 面积， 并根据眼睛关键点信息判断是否目视前 方； 计算正侧脸面积， 具体 计算公式如下： 首先计算不规则多边形的面积： 式中， n表示所取的人脸关键点的数量， (xi,yi)和(xi+1,yi+1)表示人脸关键点相邻像素 坐标； 然后基于不 规则多边形面积衡量是否目视前 方： 式中， Sa为人左半边脸的面积， Sb为人右半边脸的面积。 当FP超过设定的第一阈值时， 则 判断驾驶员没有目视前 方， 否则判断驾驶员目视前 方。 8.根据权利要求6所述的一种监测驾驶员行为的模型的应用， 其特征在于， 所述根据 人 脸关键点信息判断驾驶员的状态包括： 通过人脸关键点确定 眼睛相关的关键点信息， 并根据眼睛关键点信息判断是否 睁眼， 公式如下： 式中， EAR为眼睛长宽比， p1为左眼角关键点， p2为眼睛左上方关键点， p3为眼睛右上方 关键点， p4为右眼角关键点， p5为眼睛左下 方关键点， p6为眼睛右下 方关键点； 当EAR超过设定的第二阈值时， 则判断驾驶员闭 眼， 否则判断驾驶员没有闭 眼。 9.根据权利要求6所述的一种监测驾驶员行为的方法， 其特征在于， 所述根据 人脸关键 点信息判断驾驶员的状态包括： 通过人脸关键点确定嘴巴相关的关键点信息， 并通过嘴巴关键点信息判断是否打哈 欠， 公式如下： 式中， CRITERION为嘴巴长宽比， m4为上嘴唇上端关键点， m10为下嘴唇下端关键点， m13为权　利　要　求　书 2/3 页 3 CN 115546771 A 3