(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211165894.0 (22)申请日 2022.09.23 (71)申请人 广东机场白云信息科技有限公司 地址 510000 广东省广州市白云区新白云 国际机场A4 地块二级公司业 务楼北楼 (72)发明人 牟松　万好　韩旭　冉杰龙　 乔义滔　黄卓飞　 (74)专利代理 机构 北京捷诚信通专利事务所 (普通合伙) 11221 专利代理师 王卫东 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/232(2006.01) H04L 65/65(2022.01) G06V 20/40(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种航班保障节 点的智能监测方法、 装置及 系统 (57)摘要 本发明公开了一种航班保障节点的智能监 测方法、 装置及系统， 可 以实现航班保障各节点 完成情况的智能采集， 减少因人工录入造成的延 时误差， 从而提高航班保障的效率和准确率， 减 少人力物力的消耗， 该方法包括： 采用基于 yolov5网络的目标检测模型对机场机坪中的任 一机位对应的多视角视频流不同时刻 的视频帧 进行智能识别， 以确定任一机位 当前执行的第一 航班保障节 点， 并将任一机位的航班保障节点更 新为第一航班保障节点； 进一步确定并基于第一 航班保障节 点所属的检测类别， 采用预设方式监 测第一航班保障节点的作业进程状态， 记录第一 航班保障节点的作业时间； 重复执行上述步骤， 直至确定第一航班保障节点为最后一个航班保 障节点为止。 权利要求书3页 说明书15页 附图6页 CN 115550611 A 2022.12.30 CN 115550611 A 1.一种航班保障节点的智能监测方法， 其特 征在于， 包括： 获取机场机坪中的任一机位对应的多视角视频流； 采用基于yolov5网络的目标检测模型对所述多视角视频流不同时刻的视频帧进行智 能识别， 确定位于所述任一机位中的目标飞机和目标对 象的状态信息； 所述 目标对象包括 各类保障车辆、 飞机 机轮、 货舱门和客 舱门中的一个或多个； 基于所述目标飞机和所述目标对象的状态信 息及航班保障节点作业流程， 确定所述任 一机位当前执行的第一航班保障节点， 并将所述任一机位的航班保障节点更新为所述第一 航班保障节点； 所述 航班保障节点作业 流程包括各个航班保障节点之间的时序关系； 确定所述第一航班保障节点所属的检测类别， 并基于所述检测类别， 采用预设方式监 测所述第一 航班保障节点的作业进程状态， 记录所述第一 航班保障节点的作业时间； 若确定所述第一航班保障节点为所述航班保障节点作业流程中的最后一个航班保障 节点， 确定已完成监测所述任一机位对应的所有航班保障节点； 或者， 若确定所述第一航班保障节点不是所述航班保障节点作业流程中的最后一个航班保 障节点， 返回执行获取机场机坪中的任一机位对应的多视角视频流， 继续对所述任一机位 的航班保障节点进行监测。 2.如权利要求1所述的方法， 其特征在于， 获取机场机坪中的任一机位对应的多视角视 频流， 包括： 获取流媒体服务器传输的所述多视角视频流； 所述多视角视频流由监控所述任一机位 不同视角的若干个视频采集终端采集并实时保存到所述 流媒体服务器。 3.如权利要求1所述的方法， 其特征在于， 所述基于yolov5网络的目标检测模型采用 yolov5网络作为基本结构， 使用最近邻关联算法和相 邻帧差法对目标飞机和目标对象进 行 运动状态判断； 采用基于 yolov5网络的目标检测模型对所述多视角视频流不同时刻的视频 帧进行智能识别， 确定位于所述任一机位中的目标飞机和目标对象的状态信息， 包括： 采用基于yolov5网络的目标检测模型的yolov5网络对所述多视角视频流不同时刻的 视频帧进行识别， 输出 所述目标飞机和所述目标对象在所述 不同时刻的视频帧中的位置； 基于所述目标飞机和所述目标对象在所述不同时刻的视频帧中的位置， 采用基于 yolov5网络的目标检测模 型的最近邻关联算法和相 邻帧差法， 确定所述目标飞机和所述目 标对象在所述 不同时刻的视频帧之间的位置变化情况； 基于所述目标飞机和所述目标对象在所述不同时刻的视频帧之间的位置变化情况， 确 定位于所述任一机位中的目标飞机和目标对象的状态信息 。 4.如权利要求1所述的方法， 其特征在于， 所述航班保障节点作业流程还包括所述各个 航班保障节点的检测类别， 所述检测类别为 目标检测类、 行人识别及方向判断类和动作检 测类中的一种； 确定所述第一航班保障节点的检测类别， 并基于所述检测类别， 采用预设方 式监测所述第一 航班保障节点的作业进程状态， 包括： 基于所述 航班保障节点作业 流程， 确定所述第一 航班保障节点的检测类别； 若所述第一航班保障节点的检测类别为所述目标检测类， 则 基于所述目标飞机和所述 目标对象的状态信息， 监测目标飞机和目标对象之间的对接关系； 基于所述对接关系检监 测所述第一 航班保障节点的作业进程状态； 或者， 若所述第一航班保障节点的检测类别为所述行人识别及方向判断类， 则所述目权　利　要　求　书 1/3 页 2 CN 115550611 A 2标对象包括客梯车， 基于yolov5网络的目标检测 模型的yolov5网络， 自适应生成所述多视 角视频流不同时刻的视频帧中的光流计算区域和行人检测区域； 对所述光流计算区域进 行 光流计算， 确定所述客梯车上 的行人上下状态， 以及对所述行人检测区域进行行人身份识 别， 确定所述客梯车上的行人身份属性； 基于所述行人上下状态和所述行人身份属性， 监测 所述第一 航班保障节点的作业进程状态； 或者， 若所述第一航班保障节点的检测类别为所述动作检测类， 则基于yolov5网络的 目标检测模 型的yolov5网络， 自适应生 成所述多视角视频流不同时刻的视频帧中的动作检 测区域； 对所述动作检测区域进行人员保 障操作动作检测， 确定所述第一航班保障节点中 人员的当前保障操作动作； 基于所述当前保障操作动作， 监测所述第一航班保 障节点的作 业进程状态。 5.如权利要求4所述的方法， 其特征在于， 对所述光流计算区域进行光流监测， 确定所 述客梯车上的行人上下状态， 包括： 基于Shi ‑Tomasi算法生成所述光流计算区域的角点分 布区域； 所述角点分布区域为所述客梯车的左上角两侧1/5位置和右下角两侧1/5位置构成 的矩形区域； 采用光流算法对所述角点分布 区域进行光流计算， 获得所述光流计算区域的 稀疏光流； 若基于所述稀疏光流确定所述光流计算区域的光流竖直方向的运动为向上， 则 确定所述客梯车上 的行人上下状态为向上， 或者， 若基于所述稀疏光流确定所述光流计算 区域中的光 流竖直方向的运动为向下， 则确定所述 客梯车上的行人上下状态为向下； 对所述行人检测区域进行行人身份识别， 确定所述客梯车上的行人身份属性， 包括： 基 于efficientdet算法的目标检测模型对所述行人检测区域进行行人识别， 采用PCB  ReID网 络提取所述行人检测区域中的行人 统一特征向量， 计算所述行人 统一特征向量之 间的最大 余弦相似度； 基于所述 最大余弦相似度， 确定所述 客梯车上人员的行 人身份属性。 6.如权利要求4所述的方法， 其特征在于， 对所述动作检测区域进行人员保障操作动作 检测， 确定所述所述第一 航班保障节点中人员的当前保障操作动作， 包括： 采用基于双流的动作识别网络对动作检测区域进行人员保障操作动作检测， 输出多视 角视频流不同时刻的视频帧发生保障操作动作的置信度； 将最大置信度对应的保障操作动 作， 确定为所述第一 航班保障节点中人员的当前保障操作动作。 7.如权利要求1 ‑6任一项所述的方法， 其特征在于， 确定所述第一航班保障节点所属的 检测类别， 并基于所述检测类别， 采用预设方式监测所述第一航班保障节点的作业进程状 态， 记录所述第一 航班保障节点的作业时间之后， 所述方法还 包括： 获取所述任一机位的编码； 基于所述第一航班保障节点的作业进程状态和作业时间及所述编码， 生成结构化数 据； 所述结构化数据以所述任一机位的编号为主键， 同时保存所述第一航班保 障节点的作 业进程状态和作业时间； 将所述结构化数据保存到关系型 数据库中。 8.如权利要求1 ‑6任一项所述的方法， 其特 征在于， 所述方法还 包括： 通过视频平台播放所述多视角视频流， 并显示所述第 一航班保障节点的作业进程状态 和作业时间。 9.一种航班保障节点的智能监测装置， 其特 征在于， 包括： 目标检测单元， 用于获取机场机坪中的任一机位对应的多视角视频流； 采用基于权　利　要　求　书 2/3 页 3 CN 115550611 A 3