(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025833.4 (22)申请日 2022.08.25 (71)申请人 济南博观智能科技有限公司 地址 250001 山东省济南市高新区新 泺大 街1166号奥盛大厦3号楼17楼 (72)发明人 韩泽　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 林哲生 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) (54)发明名称 一种基于时空上下文的行为检测方法、 装 置、 设备及 介质 (57)摘要 本申请公开了一种基于时空上下文的行为 检测方法、 装置、 设备及介质， 涉及计算机技术领 域， 包括： 对视频序列进行检测得到所有目标的 位置信息； 对视频序列进行特征提取得到第一特 征图， 并基于时间维度对其进行池化得到第二特 征图， 通过中间检测帧的位置信息及第二特征图 确定所有目标的动作特征； 基于位置信息确定所 有目标的绝对位置特征及每两个目标间的相对 位置特征； 对所有目标的动作特征、 绝对位置特 征及每两个目标间的相对位置特征进行注意力 运算得到 所有目标的时空行为特征， 并对其进行 分类得到行为检测结果。 由此可见， 本申请通过 学习多目标之间的位置信息的相关性， 降低样本 依赖以及运 算复杂度。 权利要求书3页 说明书11页 附图6页 CN 115359570 A 2022.11.18 CN 115359570 A 1.一种基于时空上 下文的行为检测方法， 其特 征在于， 包括： 基于预设的帧间隔对视频序列进行检测， 得到与若干检测帧对应的所述视频序列中所 有目标的位置信息； 对所述视频序列进行特征提取， 得到与所述视频序列对应的第一特征图， 并基于时间 维度对所述第一特征图进行池化， 得到与所述视频序列对应的第二特征图， 然后通过所述 视频序列的中间检测帧的位置信息以及所述第二特征图确定出所述所有目标的动作特征； 其中， 所述中间检测帧为所述若干检测帧中位于中间位置的检测帧； 基于所述所有目标的位置信息确定所述所有目标的绝对位置特征以及每两个所述目 标之间的相对位置特 征； 对所述所有目标的动作特征、 所述所有目标的绝对位置特征以及每两个所述目标之间 的相对位置特征进行注意力运算， 得到所有所述 目标的时空行为特征， 并对所述时空行为 特征进行分类， 得到相应的行为检测结果。 2.根据权利要求1所述的基于时空上下文的行为检测方法， 其特征在于， 所述基于预设 的帧间隔对视频序列进行检测， 得到与若干检测帧对应的所述视频序列中所有目标的位置 信息， 包括： 基于预设的帧间隔对视频序列进行检测， 得到与若干检测帧对应的所述视频序列中所 有目标所在检测框的中心点坐标以及所述检测框的尺寸信息； 其中， 所述尺寸信息为所述 检测框的宽高信息 。 3.根据权利要求2所述的基于时空上下文的行为检测方法， 其特征在于， 基于所述所有 目标的位置信息确定所述所有目标的绝对位置特 征， 包括： 对每连续两个所述检测帧之间的各目标的变化速度的最大值、 变化速度的最小值、 变 化速度的平均值以及变化速度经过多层感知机的输出结果均进行特征拼接， 得到每连续两 个所述检测帧之间的各目标的变化速度的拼接后特征； 其中， 所述变化速度包括第一变化 速度、 第二变化速度、 第三变化速度以及第四变化速度； 所述第一变化速度与所述第二变化 速度为所述检测框的中心点坐标位置的变化速度， 所述第三变化速度与所述第四变化速度 为所述检测框的宽高的变化速度； 对每连续两个所述检测帧之间的各目标的第 一变化速度的拼接后特征、 第 二变化速度 的拼接后特征、 第三变化速度的拼接后特征以及第四变化速度的拼接后特征分别均进 行特 征拼接， 得到所述所有目标的绝对位置特 征。 4.根据权利要求3所述的基于时空上下文的行为检测方法， 其特征在于， 基于所述所有 目标的位置信息确定所述所有目标的绝对位置特 征之前， 还 包括： 基于每一所述检测帧上的各目标所在检测框的中心点坐标以及所述检测框的尺寸信 息， 确定出与每连续两个所述检测帧之间的各目标的变化速度； 从每连续两个所述检测帧之间的各目标的变化速度中确定出每连续两个所述检测帧 之间的各目标的变化速度的最大值、 变化速度的最小值、 变化速度的平均值， 并基于所述多 层感知机对各目标的变化速度进 行计算， 得到每连续两个所述检测帧之间的各目标的变化 速度经过所述多层感知机的输出 结果。 5.根据权利要求2所述的基于时空上下文的行为检测方法， 其特征在于， 基于所述所有 目标的位置信息确定每两个所述目标之间的相对位置特 征， 包括：权　利　要　求　书 1/3 页 2 CN 115359570 A 2对每连续两个所述检测帧之间的每两个目标间的相对变化速度的最大值、 相对变化速 度的最小值、 相对变化速度的平均值以及相对变化速度经过多层感知机的输出结果均进 行 特征拼接， 得到每连续两个所述检测帧之间的每两个目标间的相对变化速度的拼接后特 征； 其中， 所述相对变化速度包括第一相对变化速度、 第二相对变化速度、 第三相对变化速 度以及第四相对变化速度； 所述第一相对变化速度与所述第二相对变化速度为所述检测框 的中心点坐标位置的相对变化速度， 所述第三相对变化速度与所述第四相对变化速度为所 述检测框的宽高的相对变化速度； 对每连续两个所述检测帧之间的每两个目标间的第 一相对变化速度的拼接后特征、 第 二相对变化速度的拼接后特征、 第三相对变化速度的拼接后特征以及第四相对变化速度的 拼接后特征分别均进 行特征拼接， 得到每连续两个所述检测帧之 间的每两个目标间的位置 特征， 并基于多层感知机对所述位置特征进行计算， 得到每连续两个所述检测帧之间的每 两个目标间的相对位置特 征。 6.根据权利要求5所述的基于时空上下文的行为检测方法， 其特征在于， 基于所述所有 目标的位置信息确定每两个所述目标之间的相对位置特 征之前， 还 包括： 基于每一所述检测帧上的各目标所在检测框的中心点坐标以及所述检测框的尺寸信 息， 确定出每连续两个所述检测帧之间的每两个目标间的相对变化速度； 从每连续两个所述检测帧之间的每两个目标间的相对变化速度中确定出相对变化速 度的最大值、 相对变化速度的最小值、 相对变化速度的平均值， 并基于所述多层感知机对每 两个目标间的相对变化速度进 行计算， 得到每连续两个所述检测帧之 间的每两个目标间的 相对变化速度经 过所述多层感知机的输出 结果。 7.根据权利要求1至6任一项所述的基于时空上下文的行为检测方法， 其特征在于， 所 述对所述所有目标的动作特征、 所述所有目标的绝对位置特征以及每两个所述目标之 间的 相对位置特 征进行注意力运 算， 得到所有所述目标的时空行为特 征， 包括： 基于预设的注意力运算公式对所述所有目标的动作特征、 所述所有目标的绝对位置特 征以及每两个所述目标之 间的相对位置特征进 行注意力运算， 得到所有 所述目标的时空行 为特征， 所述预设的注意力运 算公式为： Qi,Ki,Vi＝conv2D(cat(FCact,FCabs))； 其中， FCact表示所述目标的动作特征， FCabs表示所述目标的绝对 位置特征， 表示目 标i与目标j之间的相对位置特 征， d表示维度， FCi表示所述目标的时空行为特 征。 8.一种基于时空上 下文的行为检测装置， 其特 征在于， 包括： 位置信息确定模块， 用于基于预设的帧间隔对视频序列进行检测， 得到与若干检测帧 对应的所述视频序列中所有目标的位置信息； 动作特征确定模块， 用于对所述视频序列进行特征提取， 得到与所述视频序列对应的 第一特征图， 并基于时间维度对所述第一特征图进行池化， 得到与所述视频序列对应的第 二特征图， 然后通过所述视频序列的中间检测帧的位置信息以及所述第二特征图确定出所权　利　要　求　书 2/3 页 3 CN 115359570 A 3