(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210764212.1 (22)申请日 2022.06.30 (71)申请人 京东方科技 集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 (72)发明人 徐志红　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 林宏生 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/10(2022.01) G06V 40/18(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/62(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (54)发明名称 玩手机行为识别方法及装置 (57)摘要 本公开实施例提供了一种玩手机行为识别 方法及装置， 涉及计算机视觉技术领域， 用于提 升玩手机行为识别的准确度。 该方法包括： 获取 待识别图像， 从待识别图像中提取出包含目标人 物的感兴趣区域图像。 将感兴趣区域图像输入至 第一行为识别模 型， 得到目标人物的第一行为识 别结果， 第一行为识别结果用于指示目标人物是 否存在玩手机行为。 将感兴趣区域图像输入至第 二行为识别模 型， 得到目标人物的第二行为识别 结果， 第二行为识别结果用于指示目标人物是否 存在玩手机行为。 比较第一行为识别结果和第二 行为识别结果， 若第一行为结果与第二行为结果 不一致， 则基于感兴趣区域图像， 对目标人物进 行行为识别处理， 确定目标人物是否存在玩手机 行为。 权利要求书2页 说明书22页 附图10页 CN 115147818 A 2022.10.04 CN 115147818 A 1.一种玩手机行为识别方法， 其特 征在于， 所述方法包括： 获取待识别图像； 从所述待识别图像中提取 出包含目标人物的感兴趣区域图像； 将所述感兴趣区域图像输入至第 一行为识别模型， 得到所述目标人物的第 一行为识别 结果， 所述第一行为识别结果用于指示所述目标 人物是否存在玩手机行为； 将所述感兴趣区域图像输入至第 二行为识别模型， 得到所述目标人物的第 二行为识别 结果， 所述第二行为识别结果用于指示所述目标 人物是否存在玩手机行为； 若所述第一行为识别结果与 所述第二行为识别结果不一致， 则基于所述感兴趣区域图 像， 对所述目标 人物进行 行为识别处 理， 确定所述目标 人物是否存在玩手机行为。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括: 若所述第一行为识别结果与 所述第二行为识别结果一致， 则 基于所述第 一行为识别结 果或者所述第二行为识别结果， 确定所述目标 人物是否存在玩手机行为。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述感兴趣区域图像， 对所述目 标人物进行 行为识别处 理， 确定所述目标 人物是否存在玩手机行为， 包括： 将所述感兴趣区域图像输入手机检测模型， 以及将所述感兴趣区域图像输入人物检测 模型； 若未从所述感兴趣区域图像 检测到手机， 确定所述目标 人物不存在玩手机行为； 若从所述感兴趣区域图像检测到手机， 则根据所述手机检测模型输出的手机框， 以及 所述人物检测模型输出的人物框， 确定所述目标 人物是否存在玩手机行为。 4.根据权利要求3所述的方法， 其特征在于， 在所述人物检测模型仅输出一个人物框 时， 所述根据所述手机检测模型输出的手机框， 以及所述人物检测模 型输出的人物框， 确定 所述目标 人物是否存在玩手机行为， 包括： 确定所述手机 框与所述人物框之间的重合度； 若所述重合度大于或等于预设重合度阈值， 则确定所述目标 人物存在玩手机行为； 若所述重合度小于预设重合度阈值， 则确定所述目标 人物不存在玩手机行为。 5.根据权利要求4所述的方法， 其特征在于， 所述确定所述手机框与 所述人物框之间的 重合度， 包括： 确定所述手机 框与所述人物框在所述感兴趣区域图像中重合区域的面积； 以所述重合区域的面积与所述手机框在所述感兴趣区域所占的区域的面积之间的比 值， 作为所述重合度。 6.根据权利要求4所述的方法， 其特征在于， 在所述确定所述手机框与 所述人物框之间 的重合度之前， 所述方法还 包括： 基于所述手机 框和所述人物框， 确定所述目标 人物与所述手机之间的距离； 在所述目标人物与 所述手机之间的距离大于预设距离 阈值时， 确定所述目标人物不存 在玩手机行为； 所述确定所述手机 框与所述人物框之间的重合度， 包括： 在所述目标人物与 所述手机之间的距离小于或等于所述预设距离阈值 时， 确定所述手 机框与所述人物框之间的重合度。 7.根据权利要求3所述的方法， 其特征在于， 在所述人物检测模型输出多个人物框时，权　利　要　求　书 1/2 页 2 CN 115147818 A 2所述根据所述手机检测模型输出 的手机框， 以及所述人物检测模型输出 的人物框， 确定所 述目标人物是否存在玩手机行为， 包括： 从所述多个人物框中确定目标人物的人物框， 以及非目标人物的人物框， 所述非目标 人物为所述感兴趣区域图像中除目标 人物之外的其 他人物； 基于所述目标人物 的人物框、 所述手机框以及所述感兴趣区域图像， 确定所述目标人 物与手机之间的距离； 基于所述非目标人物的人物框、 所述手机框以及所述感兴趣区域图像， 确定所述非目 标人物与手机之间的距离； 在所述目标人物与手机之间的距离小于所有非目标人物与手机之间的距离时， 确定所 述目标人物存在玩手机行为； 在所述目标人物与手机之间的距离大于或等于任意一个所述非目标人物与手机之间 的距离时， 确定所述目标 人物不存在玩手机行为。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述目标人物的人物框、 所述手 机框以及所述感兴趣区域图像， 确定所述目标 人物与手机之间的距离， 包括： 基于所述目标人物 的人物框和所述感兴趣区域图像， 对所述目标人物进行手部识别， 确定所述目标 人物的手部的中心位置； 基于所述手机 框和所述感兴趣区域图像， 确定所述手机的中心位置； 根据所述目标人物的手部的中心位置和所述手机的中心位置， 确定所述目标人物与手 机之间的距离 。 9.根据权利要求1至8中任一项所述的方法， 其特征在于， 所述第一行为识别模型为 inception网络模型， 所述第二行为识别模型为残差网络模型。 10.一种行为识别装置， 其特 征在于， 所述行为识别装置包括： 通信单元， 用于获取待识别图像； 处理单元， 用于： 从所述待识别图像 中提取出包含目标人物的感兴趣区域图像； 将所述 感兴趣区域图像输入至第一行为识别模型， 得到所述 目标人物的第一行为识别结果， 所述 第一行为识别结果用于指示所述目标人物是否存在玩手机行为； 将所述感兴趣区域图像输 入至第二行为识别模型， 得到所述 目标人物的第二行为识别结果， 所述第二行为识别结果 用于指示所述目标人物是否存在玩手机行为； 若 所述第一行为识别结果与所述第二行为识 别结果不一致， 则基于所述 感兴趣区域图像， 对所述目标人物进 行行为识别处理， 确定所述 目标人物是否存在玩手机行为。 11.一种行为识别装置， 其特 征在于， 所述行为识别装置包括存 储器和处 理器； 所述存储器和所述处理器耦合； 所述存储器用于存储计算机程序代码， 所述计算机程 序代码包括计算机指令； 其特征在于， 当所述处理器执行所述计算机指令时， 使得所述行为识别装置执行如权 利要求1至9中任一项所述的玩手机行为识别方法。 12.一种非瞬态的计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序； 其特征在于， 所述计算机程序在行为识别装置运行时， 使得所述行为识别装置实现如权利 要求1至9中任一项所述的玩手机行为识别方法。权　利　要　求　书 2/2 页 3 CN 115147818 A 3