(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208816.8 (22)申请日 2022.03.04 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 王智慧　李名帅　刘辰旭　孙瑞雪　 葛铭昌　崔宾阁　于建志　包永堂　 (74)专利代理 机构 安徽顺超知识产权代理事务 所(特殊普通 合伙) 34120 专利代理师 贺湘君 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于GAM跟踪器的社区行人异常行为检 测方法和装置 (57)摘要 本发明公开一种基于GAM跟踪器的社区行人 异常行为检测方法和装置， 通过对待处理视频图 像的分析处理， 采用YOLOX及其无锚方法检测目 标， 并将后选择的图注意力模型融合与合并， 利 用GAM跟踪器进行优化， 根据候选图注意力图谱 的匹配得分确定关键点坐标， 使用重心偏移量判 断的方法判定目标是否快速奔跑； 使用比较边框 的长宽比值与变化率的方法判定目标是否跌倒； 使用比较移动距离与往复的次数来判定目标是 否徘徊。 当检测目标在有奔跑、 跌倒和徘徊的情 况时， 目标的速度、 检测框、 移动距离， 往复运动 次数较行人正常运动时有明显的变化， 异常行为 判断结果稳定， 提高了社区中行人异常行为检测 的方法， 有助于提升突发情况的办事效率。 权利要求书3页 说明书10页 附图5页 CN 114581847 A 2022.06.03 CN 114581847 A 1.一种基于GAM跟踪器的社区行人异常行为检测方法， 其特征在于， 所述社区行人异常 行为检测方法包括： 将待处理的视频图像数据帧输入预先训练好的YOLOX网络， 获取高分辨率特征图， 并采 用目标检测器进行 行人检测； 基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法， 在 GAM跟踪器中以所述增加的输出端为输入进行融合分析， 用来估算待检测结果和跟踪目标 之间匹配度热图， 进 而进行跟踪目标和检测结果之间的关联匹配； 基于目标特征提取结果， 根据预设时间段内检测到的目标坐标变化速度， 采用正态分 布和阈值法， 判断待检测目标 是否发生奔跑； 和/或， 基于目标特征提取结果， 根据待检测目标的检测结果计算行人高度和宽度的比值， 并 根据计算的长 宽比值判断待检测目标 是否发生跌倒； 和/或， 基于目标特征提取结果， 根据待检测目标在视频区域内移动的距离和往 复次数与 预先 设置的徘徊距离阈值之 间的关系， 采用向量法结合阈值法判断待检测目标是否存在异常徘 徊； 若待处理的视频图像数据帧中存在待检测目标奔跑、 跌倒或异常徘徊中的至少一种， 则将所述待处 理的视频图像数据帧标记为存在社区行 人异常行为数据帧。 2.根据权利要求1所述的社区行人异常行为检测方法， 其特征在于， 所述将待处理的视 频图像数据帧输入 预先训练好的Y OLOX网络， 获取高分辨率特征图， 并采用目标检测器进 行 行人检测， 具体包括： 将从YOLOX网络中输出的差异化特征输入至GAM跟踪器， 将所述GAM跟踪器检测到的目 标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍， 并根据所述检测到的目标 的图像采集区域的中心位置进行定位； 将图像采集区域中的图像调整为标准尺寸[Hs， Ws]后， 进行归一 化提取； 基于稀疏性选择策略确定候选者， 提取与 所述图像采集 区域中的图像和所述候选者向 对应的特 征参数， 其中， 所述 候选者宽度和高度分别是 所述标准尺寸的1/2； 将所述候选者中的至少一个输入至图注意力模型， 估计所述目标和候选者之间的相关 性； 将所有所述候选者的图注意力模型进行融合与合并， 通过所述GAM跟踪器输出目标检 测结果。 3.根据权利要求1所述的社区行人异常行为检测方法， 其特征在于， 所述基于YOLOX网 络上增加的用于提取目标差异化特征 的平行的输出端及其无锚方法， 在GAM跟踪器中以所 述增加的输出端为输入进行融合分析， 用来估算待检测结果和跟踪目标之间匹配度热图， 进而进行跟踪目标和检测结果之间的关联匹配， 具体包括： 对所述YOLOX网络的特征经过3 ×3卷积运算后估算图注意力模型， 并通过1 ×1卷积层 生成特征图； 对所述特征图经过3 ×3卷积运算， 估算目标边框尺寸， 并通过1 ×1卷积层生成目标类 别结果； 对所述特征图经过3 ×3卷积运算， 获取目标中心偏移， 并通过不同的1 ×1卷积层生成 目标边框尺寸和目标中心偏移量；权　利　要　求　书 1/3 页 2 CN 114581847 A 2对所述特征图经过3 ×3卷积运算， 估算目标边框尺寸， 并通过1 ×1卷积层生成个体差 异化特征。 4.根据权利要求3所述的社区行人异常行为检测方法， 其特征在于， 所述对所述YOLOX 网络的特征经过3 ×3卷积运算后估算图注意力模型， 并通过1 ×1卷积层生成特征图， 具体 包括： 根据图注意力得分执行非极大值抑制(NMS)， 以提取峰值关键点， 保留图注意力得分大 于阈值的关键点的坐标； 根据所述目标分类、 中心偏移量和所述目标边框尺寸生成边界框， 以及个体差异化特 征， 并在估计的目标中心提取身份嵌入。 5.根据权利要求1所述的社区行人异常行为检测方法， 其特征在于， 在基于YOLOX网络 上增加的用于提取目标差异化特征的平行的输出端及其无锚方法， 在GAM跟踪器中以所述 增加的输出端为输入进行融合分析， 用来估算待检测结果和跟踪目标之间匹配度热图， 进 而进行跟踪目标和检测结果之间的关联匹配， 判断待检测目标是否发生奔跑之前， 所述方 法还包括： 基于所述目标的部位坐标为[ht， wt]确定所述边框中对应身体重心的坐标为[hd， wd]， 以 及确定候选者中对应身体重心坐标为[hc， wc]， 其中， 所述目标和所述边框之间对所述身体 重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小 值。 6.根据权利要求5所述的社区行人异常行为检测方法， 其特征在于， 所述基于目标的身 体重心坐标为[ht， wt]， 确定所述目标边框中对应身体重心的坐标为[hd， wd]， 以及确定候选 者中对应身体重心的坐标为[hc， wc]， 具体包括： 根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计， 初始化多个子轨 迹； 在所述待处理 的视频图像数据帧中第 一帧以后的帧中， 将检测到的边框与现有的跟踪 片段相连接； 采用卡尔曼滤波函数预测所述目标在 当前帧中的位置； 检测到所述目标的坐标与 预测 位置距离大于预设值， 则将相应的成本设置为无穷大。 7.根据权利要求1所述的社区行人异常行为检测方法， 其特征在于， 所述基于目标特征 提取结果， 根据预设时间段内检测到的目标坐标变化速度， 采用正态分布和阈值法， 判断待 检测目标 是否发生奔跑， 具体包括： 基于所述视频图像数据帧预测目标的位置， 最小化所述图像采集区域； 针对所述视频图像建立 坐标系， 记录并保存当前检测到的所有目标的标识和坐标； 针对同一目标收集预设数量的坐标信 息和速度， 对所述速度分布建立高斯分布模型运 算， 并基于运 算结果实时更新所述高斯模型； 将所述目标边框内图像进行图像分析以确定目标重心； 当所述目标重心偏离量大于预设阈值并保持第 一预设时长时， 确定所述目标为异常奔 跑， 则对所述目标边框进行 标记。 8.根据权利要求1所述的社区行人异常行为检测方法， 其特征在于， 所述基于目标特征 提取结果， 根据待检测目标的检测结果计算高度和宽度的比值， 并根据计算的长宽比值判权　利　要　求　书 2/3 页 3 CN 114581847 A 3