(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923187.7 (22)申请日 2022.08.02 (71)申请人 上海禹创智能科技有限公司成 都分 公司 地址 610000 四川省成 都市武侯区武科西 五路360号西部智谷B区5 栋2单元4层 (72)发明人 马进　刘志俣　余智君　罗洲杰　 (74)专利代理 机构 成都为知盾专利代理事务所 (特殊普通 合伙) 51267 专利代理师 杨宜付 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01) (54)发明名称 识别睡觉行为的方法、 装置、 存储介质及处 理器 (57)摘要 本申请实施例提供识别睡觉行为的方法、 装 置、 处理器及存储介质。 方法包括： 获取预设时间 段内的监控 数据， 监控数据中包括至少一个目标 用户， 对监控数据进行处理， 以得到监控数据中 的多个监控图像， 依次将多个监控图像输入至目 标检测模型， 以通过目标检测模 型确定监控图像 中包括的每个目标用户所对应的目标区域； 依次 将每个目标区域输入至目标跟踪模 型， 以通过所 述目标跟踪模型绑定每个目标用户的唯一用户 标识； 依次将每个监控图像的目标区域输入至关 键点检测模 型， 以通过关键点检测模 型确定目标 区域中每个目标用户的关键部位的坐标， 针对每 个目标用户， 确定目标用户的关键部位在全部目 标区域中的坐标变化数据， 针对任意一个目标用 户， 在目标用户的坐标变化数据满足预设条件的 情况下， 确定目标用户存在睡觉行为。 权利要求书3页 说明书11页 附图4页 CN 115272973 A 2022.11.01 CN 115272973 A 1.一种识别睡觉行为的方法， 其特 征在于， 所述方法包括： 获取预设时间段内的监控数据， 所述 监控数据中包括至少一个目标用户； 对所述监控数据进行处 理， 以得到所述 监控数据中的多个监控图像； 依次将多个监控图像输入至目标检测模型， 以通过所述目标检测模型确定所述监控图 像中包括的每 个目标用户所对应的目标区域； 依次将每个目标区域输入至目标跟踪模型， 以通过所述目标跟踪模型绑定每个目标用 户的唯一用户标识； 依次将每个监控图像的目标区域输入至关键点检测模型， 以通过所述关键点检测模型 确定所述目标区域中每 个目标用户的关键 部位的坐标； 针对每个目标用户， 确定所述目标用户的关键部位在全部目标区域中的坐标变化数 据； 针对任意一个目标用户， 在所述目标用户的坐标变化数据满足预设条件的情况下， 确 定所述目标用户存在睡觉行为。 2.根据权利要求1所述的方法， 其特征在于， 所述关键部位包括用户的多个身体部位， 所述关键部位的坐标包括每个身体部位的横坐标和纵坐标； 所述针对任意一个目标用户， 在所述目标用户的坐标变化数据满足预设条件的情况下， 确定所述目标用户存在睡觉行为 包括： 针对任意两个相邻的监控图像中的目标区域， 确定每个身体部位在两个区域中横坐标 的第一移动数据和纵坐标的第二移动数据； 在全部的第 一移动数据均小于第 一数值， 且全部的第 二移动数据均小于第 二数值的情 况下， 确定所述目标用户存在睡觉行为； 其中， 所述第一数值是根据所述目标区域的宽度确定的， 所述第二数值是根据所述目 标区域的高度确定的。 3.根据权利要求1所述的方法， 其特征在于， 所述关键部位包括用户的多个身体部位， 所述关键部位的坐标包括每个身体部位的横坐标和纵坐标； 所述针对任意一个目标用户， 在所述目标用户的坐标变化数据满足预设条件的情况下， 确定所述目标用户存在睡觉行为 包括： 将多个监控图像按照 时间顺序划分为多个图像组， 其中， 每个图像组包括两个时间差 为预设时间差值的监控图像； 针对每个图像组包括的监控图像中人任意一个目标用户的目标区域， 确定所述目标用 户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据； 在每个身体部位的第 一移动数据小于与 所述身体部位对应的第 一阈值， 且每个身体部 位的第二移动数据小于与所述身体部位对应的第二阈值的情况下， 确定所述目标用户存在 睡觉行为； 其中， 每个身体部位对应的第 一阈值是根据 所述目标区域的宽度以及每个身体部位的 权重系数确定的， 每个身体部位对应的第二阈值是根据所述目标区域的高度以及每个身体 部位的权 重系数确定的。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 检测连续的N个图像组；权　利　要　求　书 1/3 页 2 CN 115272973 A 2针对任意一个图像组中的任意一个目标用户， 在所述目标用户的每个身体部位的第 一 移动数据小于与所述身体部位对应的第一阈值， 且每个身体部位的第二移动数据小于与所 述身体部位对应的第二阈值的情况 下， 预测所述图像组中的目标用户存在睡觉倾向； 针对任意一个目标用户， 在所述目标用户存在睡觉倾向的图像组的数量与N的比例大 于预设比例值的情况 下， 确定所述目标用户存在睡觉行为。 5.根据权利要求4所述的方法， 其特征在于， 所述身体部位包括鼻子k1， 左眼k2， 右眼 k3， 左耳k4、 右耳k5， 脖颈k6， 左肩k7， 右肩k8， 左肘k9， 右肘k10， 左腕k11， 右腕k12， 左臀k13， 右臀k14， 左膝k15， 右膝k16， 左脚踝k17以及右脚踝k18； 所述方法还 包括： 确定所述目标用户存在睡觉行为的情况下， 确定左膝k15和左臀k13的连线与左膝k15 和左肩k7的连线之间的夹角a_k l； 确定右膝k16和右 臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr； 确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间 的夹角a_n， 其 中， 臀中心 点是指左臀k13和右 臀k14连线的中心点； 确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl； 确定右肩k8和右 肘k10的连线与右肩k8和右 臀k14的连线之间的夹角a_sr； 在所述夹角a_kl或所述夹角a_kr大于第一角度阈值的情况下， 确定所述目标用户处于 站姿睡觉的状态； 在所述夹角a_kl或所述夹角a_kr小于所述第一角度阈值的情况下， 确定所述目标用户 处于坐姿睡觉的状态； 在所述夹角a_n小于第二角度阈值， 且所述夹角a_sl或所述夹角a_sr大于第三角度阈 值的情况 下， 确定所述目标用户处于趴姿睡觉的状态。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在确定所述目标用户存在睡觉行为之后， 截取所述目标用户的坐标变化数据满足预设 条件的目标区域所在的视频片段； 根据所述目标用户的标识对应保存所述视频片段。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取多个历史视频 数据； 将所述多个历史视频数据按照固定帧率间隔获取图像， 以得到多个特定格式的历史图 像； 使用label Img图像标注工具完成每 个历史图像中的人体标注， 得到人体标注数据； 使用labelMe图像标注工具完成每个历史图像中的人体关键部位标注， 以得到人体关 键部位标注数据； 基于所述人体标注数据和Faster ‑RCNN预训练模型， 对目标检测模型进行训练， 以得到 训练好的目标检测模型； 基于所述人体关键部位标注数据和AlphaPose预训练模型， 对关键点检测模型进行训 练， 以得到训练好的关键点检测模型。 8.一种处理器， 其特征在于， 被配置成执行根据权利要求1至7中任意一项所述的识别 睡觉行为的方法。权　利　要　求　书 2/3 页 3 CN 115272973 A 3