(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211075881.4 (22)申请日 2022.09.05 (71)申请人 珠海翔翼航空技 术有限公司 地址 519030 广东省珠海市香洲区保税区 32号地 (72)发明人 林桐　陈军　蔡琦　谢吉伟　 尹玲玲　吴杨　陈璞　刘宇　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) (54)发明名称 飞行员仪表监控 执行度的自动识别方法、 系 统、 设备 (57)摘要 本发明属于图像处理、 自动识别技术领域， 具体涉及了一种飞行员仪表监控执行度的自动 识别方法、 系统、 设备， 旨在解决飞行员仪表监控 执行度自动识别的识别结果鲁棒性较差的问题， 本发明方法包括： 分别采集待进行仪表监控执行 度自动识别的飞行员在 、 时刻的眼部 视线区域图像； 提取图像特征并合并， 合并后进 行预处理， 得到预处理特征； 对预处理特征进行 线性变换， 得到预处理特征在 线性变换后的新坐 标系中的投影； 对投影进行尺度变换， 得到尺度 变换后的特征向量； 计算决策值， 若决策值大于 等于设定的超球 半径， 则判定飞行员的仪表监控 执行度不到位。 本发明提高了飞行员仪表监控执 行度自动识别结果的鲁棒 性。 权利要求书3页 说明书11页 附图7页 CN 115171203 A 2022.10.11 CN 115171203 A 1.一种飞行员仪表监控执 行度的自动识别方法， 其特 征在于， 该 方法包括以下步骤： S100， 分别采集待进行仪表监控执行度自动识别的飞行员在 、 时刻的眼部视 线区域图像， 作为第一区域图像、 第二区域图像； 其中， 为飞行设备发生关键状态改变的 时刻， 为在关键状态下， 设定的飞行员反应时延； 所述关键状态为根据设定要求提取出飞 行员需要关注仪表变换时对应的飞行设备操纵状态； 所述设定要求包括飞行训练大纲、 SOP； S200， 提取所述第一区域 图像、 所述第二区域 图像的特征并合并， 合并后进行预处理， 得到预处 理特征； 所述预处 理包括去中心化； S300， 对所述预处理特征进行线性变换， 得到所述预处理特征在线性变换后的新坐标 系中的投影； S400， 对所述投影进行尺度变换， 得到尺度变换后的特 征向量； S500， 基于所述尺度变换后的特征向量， 结合预获取的超球球心， 计算决策值； 所述决 策值为尺度变换后的特 征向量到超球 球心的距离； 若所述决策值大于等于设定的超球半径， 则判定飞行员的仪表监控执 行度不到位。 2.根据权利要求1所述的飞行员仪表监控执行度的自动识别方法， 其特征在于， 对所述 预处理特征进行线性变换， 得到所述预处理特征在线性变换后的新坐标系中的投影， 其方 法为： 其中， 表示投影， 表示预处理特征， 表示转换， 表示一组标准正 交基向量， 满足 且 ， 为线性变换后的新坐标系， 表示特 征维数。 3.根据权利要求2所述的飞行员仪表监控执行度的自动识别方法， 其特征在于， 所述 其计算方法为： 获取投影点的方差： ， 记 ， 则构建的优化目标函数为： 通过拉格朗日乘法对所述优化目标函数求 解， 可得： 通过对 进行特征值分解即可 得到 。 4.根据权利要求1所述的飞行员仪表监控执行度的自动识别方法， 其特征在于， 对所述 投影进行尺度变换， 得到尺度变换后的特 征向量， 其方法为：权　利　要　求　书 1/3 页 2 CN 115171203 A 2其中， 表示尺度变换后的特征 向量， 、 表示 中第 维特征 的样本均值和方 差， 表示样本容 量。 5.根据权利要求4所述的飞行员仪表监控执行度的自动识别方法， 其特征在于， 所述超 球球心及所述超球半径， 获取 方法为： A100， 遍历所有飞行阶段及飞行训练科目， 生成飞行训练关键节点的规则树； 所述规则 树各节点包括： 飞行训练器关键状态改变 ， 设置的飞行员反应时延 ， 记录期望监控的仪 表区域位置 ， ， 表示需要监控的仪表区域的数目， 表示飞行设备 发生第 类关键状态改变； 所述关键节点 为关键状态对应的节点； A200， 当在 时刻飞行设备发生了关键状态改变 ， 采集 、 时刻的眼部视线区 域图像， 作为第一区域图像、 第二区域图像； 提取所述第一区域图像的特征， 作为第一特征， 提取所述第二区域图像的特 征， 作为第二特 征； A300， 将所述规则树中的 对应的 ， 作为所述第一特征、 所述第二特征 的伪标签； 并 将具有相同伪标签 的第一特 征、 第二特 征分别组合 为样本集； A400， 将所述样本集进行合并去中心化， 得到特 征向量集， 即预处 理特征； A500， 执行S300、 S400中的方法， 得到尺度变换后的特 征向量； A600， 对尺度变换后的特征向量取均值作为超球球心， 并根据三西格玛准则设置距离 阈值作为超球半径； A700， 执行S500中的方法， 获取飞行员的仪表监控执行度 不到位对应的样本， 将其归类 为异常样本， 并从伪标签正常的样本集中剔除； A800， 循环A400 ‑A700， 直至没有发现新的异常样本， 然后基于伪标签正常的样本集， 执 行步骤A40 0‑A600， 得到超球 球心以及超球半径， 作为 最终获取的超球 球心以及超球半径。 6.根据权利要求4所述的飞行员仪表监控执行度的自动识别方法， 其特征在于， 所述决 策值， 其计算方法为： 其中， 表示决策值， 表示超球 球心， 。 7.一种飞行员仪表监控执行度的自动识别系统， 其特征在于， 该系统包括： 区域图像获 取模块、 预处 理模块、 线性变换模块、 尺度变换模块、 执 行度判断模块；权　利　要　求　书 2/3 页 3 CN 115171203 A 3