(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974043.4 (22)申请日 2022.08.15 (71)申请人 四川弘和通讯集团有限公司 地址 610000 四川省成 都市武侯区武科东 四路11号2栋10层1号 (72)发明人 陈友明　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 孟仕杰 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 7/70(2017.01) G06Q 10/06(2012.01) G06Q 50/10(2012.01) (54)发明名称 一种加油流程监控方法、 装置、 电子设备及 存储介质 (57)摘要 本发明涉及一种加油流程监控方法、 装置、 电子设备及存储介质， 该方法包括： 获取针对多 个加油流程的待处理视频， 待处理视频中包括加 油人员、 加油车辆和加油设备， 对于引车入站流 程、 弯腰问候流程、 油表清零流程和引车出站流 程中的每个加油流程， 识别出待处理视频中的当 前加油流程的目标分类结果， 对于前往驾驶位置 流程、 开油盖箱流程、 提枪加油流程和关油箱盖 流程中的每个加油流程， 识别出待处理视频中的 当前加油流程的目标检测结果。 通过本发明的方 法， 基于加油 八步法对应的八个规范加油流程， 通过识别待处理视频中的各个加油流程是否符 合规范加油流程的要求， 以实现对加油车辆的服 务过程的监控， 可 以自动化地、 有效地对加油流 程进行监控。 权利要求书3页 说明书16页 附图6页 CN 115457427 A 2022.12.09 CN 115457427 A 1.一种加油流 程监控方法， 其特 征在于， 包括： 获取针对多个加油流程的待处理视频， 所述待处理视频中包括加油 人员、 加油 车辆和 加油设备， 多个所述加油流程按照加油时序依次执行， 多个所述加油流程包括引车入站流 程、 前往驾驶位置流程、 弯腰问候流程、 油表清零流程、 开油箱盖流程、 提枪加油流程、 关油 箱盖流程和引车 出站流程； 对于所述引车入站流程、 弯腰问候流程、 油表清零流程和引车出站流程中的每个所述 加油流程， 识别出所述待处理视频中的当前加油流程的目标分类结果， 所述 目标分类结果 为所述当前加油流程为对应的规范加油流程， 或者， 所述当前加油流程不是对应的规范加 油流程， 多个规范加油流程包括引车入站 规范流程、 前往驾驶位置规范流程、 弯腰问候规范 流程、 油表清零规范流程、 开油箱盖规范流程、 提枪加油规范流程、 关油箱盖规范流程和引 车出站规范流 程； 对于所述前往驾驶位置流程、 所述开油盖箱流程、 所述提枪加油流程和所述关油箱盖 流程中的每个加油流程， 识别出所述待处理视频中的当前加油流程的目标检测结果， 所述 目标检测结果为所述当前加油流程与对应的规范加油流程匹配或所述当前加油流程与对 应的规范加油流 程不匹配。 2.根据权利要求1所述的方法， 其特征在于， 对于所述引车入站手势、 弯腰问候、 油表清 零手势和引车出站手势中的每个所述加油流程， 所述识别出所述待处理视频中的当前加油 流程的目标分类结果， 包括： 识别出所述待处 理视频中的所述加油人员； 识别出所述待处 理视频中的加油人员的关节点 位置； 根据所述加油人员的关节点位置， 通过预设的第 一分类模型确定所述加油人员对应的 当前加油动作的第一分类结果； 根据所述加油人员的关节点位置， 通过预设的第 二分类模型确定所述加油人员对应的 当前加油动作的第二分类结果； 根据所述第 一分类结果和所述第 二分类结果， 确定所述加油人员对应的当前加油流程 的目标分类结果。 3.根据权利要求1所述的方法， 其特征在于， 对于所述前往驾驶位置流程， 所述识别出 所述待处 理视频中的当前加油流 程的目标检测结果， 包括： 对于所述待处理视频中的目标图像， 识别所述目标图像中停止在停车区的加油车辆的 倒车镜位置， 以及所述加油人员的员工位置， 所述 目标图像为所述加油车辆进入到所述停 车区时对应的图像； 根据所述倒车镜位置和所述员工位置， 确定所述目标图像中倒车镜与 所述加油人员之 间的距离； 若在所述待处理视频中所述目标图像之后的连续帧图像中， 所述距离满足第一条件， 则确定所述当前加油流程与所述前往驾驶位置规范流程匹配， 若 所述距离不满足所述第一 条件， 则确定所述当前加油流程与所述前往驾驶位置规范流程不匹配， 所述第一条件为距 离在不断减小， 且在所述距离不发生变化时的距离小于设定阈值； 对于所述开油盖箱流程和所述关油盖箱流程中的每个加油流程， 所述识别出所述待处 理视频中的当前加油流 程的目标检测结果， 包括：权　利　要　求　书 1/3 页 2 CN 115457427 A 2识别所述待处理视频中所述加油车辆的油箱盖的开合状态， 所述开合状态为由关闭转 为打开， 或由打开 转为关闭； 根据所述开合状态以及所述当前加油流程在多个所述规范加油流程中的执行顺序， 确 定所述待处 理视频中的当前加油流 程的目标检测结果； 所述加油设备包括加油枪和加油 管， 对于所述提枪加油流程， 所述识别出所述待处理 视频中的当前加油流 程的目标检测结果， 包括： 识别出所述待处 理视频中是否包括手持加油枪动作和手持加油管动作； 若所述待处理视频中包括所述手持加油枪动作和所述手持加油管动作， 则确定所述待 处理视频中的当前加油流 程与所述 提枪加油规范流 程匹配； 若所述待处理视频中不同时包括所述手持加油枪动作和所述手持加油管动作， 则确定 所述待处 理视频中的当前加油流 程与所述 提枪加油规范流 程不匹配。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 若各个所述目标分类结果中存在不是规范加油流程的第 一目标加油流程， 和/或， 各个 所述目标检测结果中存在与规范加油流 程不匹配的第二目标加油流 程； 生成报警信息并发送给相关人员的终端设备； 若所述第二目标加油流程中包括所述关油盖箱流程， 所述生成报 警信息并发送给相关 人员的终端设备， 包括： 若识别出所述待处理视频中所述加油车辆的位置发生变化， 则生成报 警信息并发送给 相关人员的终端设备。 5.根据权利要求1至4中任一项所述的方法， 其特 征在于， 所述方法还 包括： 根据一次加油对应的各个所述加油流程对应的目标检测结果和目标分类结果， 确定所 述加油员工 完成一次加油后的服 务评分。 6.根据权利要求1至4中任一项所述的方法， 其特 征在于， 所述方法还 包括： 确定所述加油人员在所述待处 理视频中服 务客户的数量。 7.根据权利要求2至4中任一项所述的方法， 其特征在于， 所述第一分类模型是基于长 短期记忆网络训练得到的模 型， 所述第二分类模 型是基于改进的shufflenetv2分类网络训 练得到的模型， 所述改进 的shufflenetv2分类网络为将原始shufflenetv2分类网络中的 3x3DWConv替换为5x5DWCo nv， 步长由1替换为2， 去掉DWCo nv后的1x1Co nv。 8.一种加油流 程监控装置， 其特 征在于， 包括： 视频获取模块， 用于获取针对多个加油流程的待处理视频， 所述待处理视频中包括加 油人员、 加油车辆和加油设备， 多个所述加油流程按照加油时序 依次执行， 多个所述加油流 程包括引车入站 流程、 前往驾驶位置流程、 弯腰问候流程、 油表清 零流程、 开油箱盖流程、 提 枪加油流 程、 关油箱盖流 程和引车 出站流程； 第一监控模块， 用于对于所述引车入站流程、 弯腰问候流程、 油表清零流程和引车出站 流程中的每个所述加油流程， 识别出所述待处理视频中的当前加油流程的目标分类结果， 所述目标分类结果为所述当前加油流程为对应的规范加油流程， 或者， 所述当前加油流程 不是对应的规范加油流程， 多个规范加油流程包括引车入站规范流程、 前往驾驶位置规范 流程、 弯腰问候规范流程、 油表清 零规范流程、 开油箱盖规范流程、 提枪加油规范流程、 关油 箱盖规范流 程和引车 出站规范流 程；权　利　要　求　书 2/3 页 3 CN 115457427 A 3