(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211118464.3 (22)申请日 2022.09.15 (65)同一申请的已公布的文献号 申请公布号 CN 115205906 A (43)申请公布日 2022.10.18 (73)专利权人 山东能源数智云科技有限公司 地址 250000 山东省济南市自由贸易试验 区中国(山东)济南片区经十 路汉峪金 谷A1-4-601 (72)发明人 王玉石　尹旭　马兵　张烁　 王玉增　续敏　刘建斌　朱运恒　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 邓超(51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114549557 A,202 2.05.27 CN 111738091 A,2020.10.02 WO 202010846 6 A1,2020.0 6.04 审查员 刘梦晨 (54)发明名称 基于人体解析的仓储作业人员的检测方法、 装置及介质 (57)摘要 本申请涉及图像处理技术领域， 提供了基于 人体解析的仓储作业人员的检测方法、 装置及介 质， 包括： 获取仓储作业场景包括多个作业人员 的待处理图像后， 将待处理图像输入第一人体特 征解析网络， 得到全局特征 图； 采用Fast  R‑CNN 网络对待处理图像进行处理后输入第二人体特 征解析网络， 得到各作业人员的实例掩码局部特 征图； 采用Mask  R‑CNN网络对待处理图像进行处 理后输入第三人体特征解析网络， 得到各作业人 员的实例真值掩码特征图； 基于全局特征图、 各 作业人员的实例掩码局部特征图和各作业人员 的实例真值掩码特征图中的各特征， 得到各作业 人员的初始人体特征解析图和相应人体特征解 析图。 该方法提高了人体解析的检测精度。 权利要求书3页 说明书13页 附图5页 CN 115205906 B 2022.12.23 CN 115205906 B 1.一种基于人体解析的仓储作业人员的检测方法， 其特 征在于， 所述方法包括： 获取仓储作业场景的待处 理图像， 所述待处 理图像包括多个作业人员； 将所述待处理图像输入训练好的第 一人体特征解析网络， 得到所述第 一人体特征解析 网络输出的全局特 征图； 采用Fast  R‑CNN网络对所述待处理图像进行处理， 得到各作业人员的人体实例图像， 并将得到的人体实例图像输入训练好的第二人体特征解析网络， 得到所述第二人体特征解 析网络输出的各作业人员的实例掩码局部特 征图； 采用Mask  R‑CNN网络对所述待 处理图像进行处理， 得到所述各作 业人员的人体实例真 值掩码图像， 将得到的人体实例真值掩码图像输入训练好的第三人体特征解析网络， 得到 所述第三人体特 征解析网络 输出的各作业人员的实例真值掩码特 征图； 基于预设的特征融合规则， 对所述全局特征图、 所述各作业人员的实例掩码局部特征 图和所述各作业人员的实例真值掩码特征图中的各特征进 行特征融合， 得到所述各作业人 员的初始人体特 征解析图； 根据所述各作业人员的初始人体特征解析图和所述各作业人员的人体实例真值掩码 图像， 确定所述各作业人员的人体特 征解析图； 其中， 基于预设的特征融合规则， 对所述各作业人员的全局特征图、 实例掩码局部特征 图和实例真值掩码特征图中的各特征进行特征融合， 得到所述各作业人员的初始人体特征 解析结果， 包括： 获取所述各作业人员的全局特征图、 实例掩码局部特征图和实例真值掩码特征图中各 特征对应的像素位置； 基于所述各特征对应的像素位置， 将任一相同像素位置的像素值相加后取平均， 得到 各相同像素位置对应的特 征平均值； 基于所述各相同像素位置对应的特征平均值， 获取所述各作业人员的初始人体特征解 析结果。 2.如权利要求1所述的方法， 其特征在于， 所述第 一人体特征解析网络是基于历史获取 的包含多个作业人员的图像作为训练数据， 对融合全局信息与局部细节的单人人体解析网 络进行训练得到的； 所述第二人体特征解析网络是在利用Fast  R‑CNN网络对历史获取的包含多个作业人 员的图像检测出各作业人员的人体实例图像后， 基于得到的各作业人员的人体实例图像对 融合全局信息与局部细节的单 人人体解析网络进行训练得到的； 所述第三人体特征解析网络是在利用Mask  R‑CNN网络对历史获取的包含多个作业人 员的图像检测出各作业人员的人体实例真值掩码图像后， 基于得到的各作业人员的人体实 例真值掩码图像对融合全局信息与局部细节的单 人人体解析网络进行训练得到的。 3.如权利要求2所述的方法， 其特征在于， 所述融合全局信 息与局部细节的单人人体解 析网络依次包括一个ResNet ‑101网络、 两个串联的注意力模块、 一个高分辨率嵌入模块和 一个边缘感知模块； 其中， 所述注意力模块包括3个1 ×1的卷积单 元、 1个特 征融合单 元和1个特 征聚合单 元； 所述高分辨率嵌入模块包括与所述注意力模块连接的1个双线性插值单元、 1个1 ×1的 卷积单元和与所述 边缘感知模块连接的1个特 征级联单元；权　利　要　求　书 1/3 页 2 CN 115205906 B 2所述边缘感知模块包括与所述ResNet ‑101网络的连接的3个1 ×1的第一卷积单元、 3个 1×1的第二卷积单 元、 1个特 征融合单 元、 两个串联的1 ×1卷积单元。 4.如权利要求3所述的方法， 其特 征在于， 每 个注意力模块的具体处 理过程包括： 将待输入特征图分别经过所述3个1 ×1的卷积单元， 得到三个特征图， 所述三个特征图 包括特征图、 特征图和特 征图； 按照预设的特征融合算法， 对所述特征图和所述特征图进行特征融合， 得到第一注意 力特征图； 按照预设的特征聚合算法， 对所述第一注意力特征图、 所述特征图和所述待输入特征 图进行特征聚合， 得到第二注意力特征图， 所述第二注意力特征图中每个像素位置都包含 所述第二注意力特 征图中所有像素的像素信息 。 5.如权利要求1所述的方法， 其特征在于， 根据所述各作业人员的初始人体特征解析结 果和所述各作业人员的人体实例真值掩码图像， 确定所述各作业人员的人体特征解析图之 后， 所述方法还 包括： 采用标签优化法， 对所述初始人体特征解析图中所述各作业人员的边缘特征和细节特 征进行解析， 得到所述待处 理图像对应的实例级的人体特 征解析图。 6.如权利要求1所述的方法， 其特征在于， 根据所述各作业人员的初始人体特征解析结 果和所述各作业人员的人体实例真值掩码图像， 确定所述各作业人员的人体特征解析图之 后， 所述方法还 包括： 采用预设的分类器， 对所述各作业人员的人体特征解析图进行姿态分类； 所述预设的 分类器是基于获取的经标注姿态的包含多个作业人员的人体特征解析图作为训练数据集， 对预训练的极限学习机进行训练得到的。 7.一种基于人体解析的仓储作业人员的检测装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取仓储作业场景的待处 理图像， 所述待处 理图像包括多个作业人员； 输入单元， 用于将所述待处理图像输入训练好的第一人体特征解析网络， 得到所述第 一人体特 征解析网络 输出的全局特 征图； 以及， 采用Fast  R‑CNN网络对所述待处理图像进行处理， 得到各作业人员的人体实例 图像， 并将得到的人体实例图像输入训练好的第二人体特征解析网络， 得到所述第二人体 特征解析网络 输出的各作业人员的实例掩码局部特 征图； 以及， 采用Mask  R‑CNN网络对所述待处理图像进行处理， 得到所述各作业人员的人体 实例真值掩码图像， 将得到的人体实例真值掩码 图像输入训练好的第三人体特征解析网 络， 得到所述第三人体特 征解析网络 输出的各作业人员的实例真值掩码特 征图； 融合单元， 用于基于预设的特征融合规则， 对所述全局特征图、 所述各作业人员的实例 掩码局部特征图和所述各作业人员的实例真值掩码特征图中的各特征进 行特征融合， 得到 所述各作业人员的初始人体特 征解析图； 确定单元， 用于根据 所述各作业人员的初始人体特征解析图和所述各作业人员的人体 实例真值掩码图像， 确定所述各作业人员的人体特 征解析图； 所述融合单 元， 具体用于： 获取所述各作业人员的全局特征图、 实例掩码局部特征图和实例真值掩码特征图中各 特征对应的像素位置；权　利　要　求　书 2/3 页 3 CN 115205906 B 3