(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211353123.4 (22)申请日 2022.11.01 (71)申请人 杭州新中大 科技股份有限公司 地址 310000 浙江省杭州市拱 墅区候圣街 99号财智顺丰创新中心1幢428室 (72)发明人 林兰芬　牛子未　王弘毅　石钟韶　 徐宏　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 周帅 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06T 7/73(2017.01) (54)发明名称 基于时空特征的双流工人劳动状态识别方 法 (57)摘要 本发明涉及信息技术领域， 具体涉及基于时 空特征的双流工人劳动状态识别方法， 包括以下 步骤： 获取劳动图像样本， 建立人体关节识别模 型； 工人劳动视频输入人体关节识别模型； 建立 关节点数据和骨骼数据； 建立第一时空特征模型 和第二时空特征模型； 将关节 点数据输入第一时 空特征模型训练； 将骨骼数据输入第二时空特征 模型训练； 截取实时 帧组； 获得人体关节位置； 建 立关节点数据和骨骼数据； 分别输入第一时空特 征模型和第二时空特征模型； 输出的劳动状态概 率分布加权求和。 本发明的有益技术效果包括： 通过将关节点数据和骨骼数据分别输入第一时 空特征模型和第二时空特征模型， 将获得的劳动 状态概率分布加权求和， 提高了劳动状态的识别 准确度。 权利要求书3页 说明书10页 附图6页 CN 115410137 A 2022.11.29 CN 115410137 A 1.基于时空特 征的双流工人劳动状态 识别方法， 其特 征在于， 包括以下步骤： 预设若干个劳动状态， 获取若干个劳动图像样本， 建立人体关节 识别模型； 获取工人劳动视频， 将视频的图像帧输入人体关节 识别模型， 获得 人体关节位置； 根据人体关节位置建立关节点数据和骨骼数据， 人工将关节点数据和骨骼数据标注劳 动状态作为样本数据； 建立第一时空特 征模型和第二时空特 征模型； 将关节点数据输入第 一时空特征模型进行训练及测试， 获得训练后的第 一时空特征模 型； 将骨骼数据输入第二时空特征模型进行训练及测试， 获得训练后的第二时空特征模 型； 获取工人劳动的实时视频， 截取实时视频 预设长度的图像帧， 记为实时帧组； 将所述实时帧组输入人体关节 识别模型， 获得 人体关节位置； 根据实时帧组对应的人体关节位置建立关节点数据和骨骼数据； 将实时帧组对应的关节点数据和骨骼数据分别输入第一时空特征模型和第二时空特 征模型； 将第一时空特征模型和第 二时空特征模型输出的劳动状态概率分布加权求和， 获得最 终的劳动状态概 率分布， 概 率最大的劳动状态为 最终工人劳动状态 识别结果。 2.根据权利要求1所述的基于时空特 征的双流工人劳动状态 识别方法， 其特 征在于， 建立关节点数据的方法包括以下步骤： 制定人体关节类型排序， 将人体关节位置依照人体关节类型排序排列； 将人体关节位置数据按照排序添加间隔符拼接作为关节点数据。 3.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法， 其特征在 于， 建立骨骼数据的方法包括以下步骤： 制定人体关节类型排序， 将人体关节位置依照人体关节类型排序排列； 将人体骨骼位置数据按照排序添加间隔符拼接在关节点数据之后， 作为骨骼数据。 4.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法， 其特征在 于， 所述第一时空特征模型和第二时空特征模型均包括多组图卷积网络模型和时域残差 网络模型， 所述第一时空特征模型 的第一组的图卷积网络模型的输入为关节点数据， 所述 第二时空特征模型的第一组的图卷积网络模型的输入为骨骼数据， 所述第一时空特征模型 和第二时空特 征模型的最后一组的时域残差网络模型输出劳动状态分布概 率。 5.根据权利要求 4所述的基于时空特 征的双流工人劳动状态 识别方法， 其特 征在于， 所述第一时空特征模型和第 二时空特征模型均包括低频组和高频组， 所述低频组及高 频组分别包括多组图卷积网络模型和时域残差网络模型， 所述低频 组的图卷积网络模型以 预设间隔跳过关节点数据或者骨骼数据， 所述低频 组和高频 组的最后一组的时域残差网络 模型均输出劳动状态分布概率， 计算低频组和高频组输出劳动状态分布概率的加权和， 最 终的劳动状态分布概 率。权　利　要　求　书 1/3 页 2 CN 115410137 A 26.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法， 其特征在 于， 将第一时空特征模型和第二时空特征模型输出的劳动状态概率分布加权求和的方法 包括： 分别计算第 一时空特征模型和第 二时空特征模型输出的劳动状态概率分布的最高值， 记为最高概率值； 筛选第一时空特征模型和第 二时空特征模型输出的劳动状态概率分布中， 高于预设概 率阈值的劳动状态作为筛选集合， 计算筛选集合中劳动状态的分布概率的均值， 记为筛选 概率值； 分别计算第 一时空特征模型和第 二时空特征模型的最高概率值与筛选概率值的商， 分 别作为第一时空特 征模型和第二时空特 征模型输出的劳动状态概 率分布加权求和的权 重。 7.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法， 其特征在 于， 建立人体关节 识别模型的方法包括以下步骤： 设置人体关节类型集 合， 设置人体关节类型集 合中每个人体关节类型的图像模板； 从人体关节类型集 合中选择若干个人体关节类型纳入易识别集 合； 建立每个类型的人体关节与易识别集合中每个类型的人体关节的相对位置区域， 记为 相对区域； 读取带有人体关节类型及位置标注的样本图像； 建立图像分类模型， 所述图像分类模型的输入为图像区域， 输出为图像区域内出现的 人体关节类型及位置； 建立调度模型， 所述调度模型将待识别图像输入所述图像分类模型， 获得图像分类模 型识别出的人体关节类型及位置； 所述调度模型根据图像分类模型识别出的人体关节类型、 位置及相对区域， 获得未识 别出的人体关节相对已识别出的人体关节的相对位置区域； 将相对位置区域内的图像输入所述图像分类模型， 识别全部人体关节及其 位置； 所述图像分类模型及调度模型构成人体关节 识别模型。 8.根据权利要求7 所述的基于时空特 征的双流工人劳动状态 识别方法， 其特 征在于， 选择纳入易识别集 合的人体关节类型的方法包括： 建立图像预分类模型， 所述图像预分类模型的输入为带有任意人体关节的图像， 所述 图像预分类模型的输出为图像中出现的人体关节类型及位置； 将多个带有人体关节类型及位置标注的样本图像划分为训练集和 测试集； 使用训练集训练所述图像预分类模型； 使用测试集测试所述图像预分类模型， 获得测试集下， 每个人体关节类型的分类准确 率； 将分类准确率高于预设阈值的人体关节类型纳入易识别集 合。 9.根据权利要求8所述的基于时空特 征的双流工人劳动状态 识别方法， 其特 征在于， 所述易识别集 合中的人体关节类型按照分类准确率降序排列； 所述调度模型将待识别图像输入所述图像分类模型后， 读取图像分类模型识别出的若权　利　要　求　书 2/3 页 3 CN 115410137 A 3