(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210953147.7 (22)申请日 2022.08.10 (65)同一申请的已公布的文献号 申请公布号 CN 115019261 A (43)申请公布日 2022.09.06 (73)专利权人 山东美特钢材有限公司 地址 252000 山东省聊城市高新区许营工 业园许营乡种子站院内第一车间 (72)发明人 刘景园　 (74)专利代理 机构 郑州芝麻知识产权代理事务 所(普通合伙) 41173 专利代理师 丁伟 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01)G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114842560 A,2022.08.02 WO 202010783 3 A1,2020.0 6.04 审查员 李晗 (54)发明名称 一种基于神经网络的行人翻越交通护栏的 检测识别方法 (57)摘要 本发明涉及数据 识别技术领域， 具体涉及一 种基于神经网络的行人翻越交通护栏的检测识 别方法， 通过获取待监测护栏段的各对拍摄图 像， 对拍摄图像进行数据识别， 确定各个人体目 标在其对应的各对目标拍摄图像中的各个关节 点及其向量串和 邻域关节点， 结合各对目标拍摄 图像中的护栏区域信息， 确定各个人体目标在其 对应的各对目标拍摄图像中的各个关节点的邻 域关节点的注 意力权重， 进而确定各个人体目标 在其对应的各对目标拍摄图像中的各个关节点 的更新向量串， 从而确定各个人体目标的片段向 量， 最终得到各个人体目标的动作识别结果。 本 发明基于待监测护栏段的各对拍摄图像， 并利用 相应的数据识别技术， 有效提高了行人翻越护栏 检测的准确性。 权利要求书4页 说明书15页 附图5页 CN 115019261 B 2022.10.28 CN 115019261 B 1.一种基于神经网络的行人翻越交通护栏的检测识别方法， 其特征在于， 包括以下步 骤： 步骤S1： 获取待监测护栏段的当前各个设定时刻对应的各对拍摄 图像， 所述拍摄 图像 包括第一侧拍摄图像和第二侧拍摄图像； 步骤S2： 对各对拍摄图像进行人体目标识别， 若识别到人体目标， 则确定各个同一人体 目标对应的各对目标拍摄图像， 所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧 拍摄图像； 步骤S3： 对各对目标拍摄 图像中的对应人体目标的关节点进行识别， 从而确定各个同 一人体目标在其对应的各对目标拍摄图像中的各个关节点、 各个关节点的向量串和各个关 节点的邻域关节点； 步骤S4： 对各对目标拍摄 图像中的护栏进行识别， 从而确定各对目标拍摄图像中的护 栏区域信息； 步骤S5： 根据 各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏 区域信息， 确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿 部弯曲度； 步骤S6： 根据 各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量 串、 邻域关节点的向量串、 人体护栏距离值和腿部弯曲度， 确定各个同一人体目标在其对应 的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权 重； 步骤S7： 根据 各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量 串以及邻域关节点的注意力权重， 确定各个同一人体目标在其对应的各对目标拍摄图像中 的各个关节点的更新向量串， 进 而确定各个同一人体目标对应的片段向量； 步骤S8： 将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护 栏识别网络中， 从而得到各个同一人体目标的动作识别结果； 确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点 的注意力权 重对应的计算公式为： 其中， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第 i个关节点的第 j个邻域关节点的注意力权重， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的 第i个关节点的向量串， 为每个同一人体目标在其对应的第n帧目标拍摄图像中的第 i个 关节点的第 j个邻域关节点的向量串， 为共享线性变化矩阵， 为将 和 拼接后得到向量， 为用于将 映射到一个实数上的单层前馈神经网络的 权重向量， 为每个同一人体 目标在其对应的第n帧目标拍摄图像中的腿部弯曲度， 为 每个同一人体 目标在其对应的第n帧目标拍摄图像中的人体护栏距离值， 为激活函权　利　要　求　书 1/4 页 2 CN 115019261 B 2数， 为每个同一人体目标在其对应的第n帧目标拍摄图像 中的第i个关节点的邻域关节点 的总数目。 2.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法， 其特征 在于， 从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关 节点的向量串， 包括： 对各对目标拍摄图像 中的对应人体目标的关节点进行识别， 从而得到各个同一人体目 标在其对应的各对目标拍摄图像中的各个关节点、 各个关节点的特 征向量和前后类别； 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和 前后类型， 对各个关节点进行编码， 从而得到各个同一人体目标在其对应的各对目标拍摄 图像中的各个关节点的部位编码； 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、 特 征向量和部位编码， 构 造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点 的向量串。 3.根据权利要求2所述的基于神经网络的行人翻越交通护栏的检测识别方法， 其特征 在于， 从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关 节点， 还包括： 根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标， 构 造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨 架图； 根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像 中的骨架图， 确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍 摄图像中的每 个关节点的与其相连接的关节点； 确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域 关节点， 所述邻域关节点包括： 该关节点的与其相连的关节 点、 该关节点所在的目标第一侧 拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点， 该关节点所在的目标第一侧拍 摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、 该关节点所在的目标第一侧拍摄 图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点； 确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域 关节点， 所述邻域关节点包括： 该关节点的与其相连的关节 点、 该关节点所在的目标第二侧 拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点， 该关节点所在的目标第二侧拍 摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、 该关节点所在的目标第二侧拍摄 图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。 4.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法， 其特征 在于， 各个同一人体目标在其对应的各对目标拍摄图像中的各个 关节点包括： 鼻子 关节点、 脖子关节点、 右肩膀关节点、 右手肘关节点、 右手手腕关节点、 左肩膀关节点、 左手肘关节 点、 左手手腕关节点、 右胯关节点、 右膝关节点、 右脚关节点、 左胯关节点、 左膝关节点和左 脚关节点。 5.根据权利要求4所述的基于神经网络的行人翻越交通护栏的检测识别方法， 其特征 在于， 确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯权　利　要　求　书 2/4 页 3 CN 115019261 B 3