(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921764.9 (22)申请日 2022.08.02 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 宋雪桦　张舜尧　顾寅武　王昌达　 金华　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 7/269(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于对象元的视频异常检测方法 (57)摘要 本发明涉及计算机视觉中视频异常监测领 域， 具体涉及一种基于对象元的视频异常检测方 法。 通过对一段任意场景的正常视频图像进行光 流计算和对象检测， 生成对象元。 接下来将对象 元输入多级记忆搜索引导自动编码器进行训练， 得到图像重建模 型。 之后将图像重建模型应用于 同一场景的待检测视频上， 对其中的对象进行图 像重建。 最后将重建对象映射回原视频帧， 根据 图像间差异实现异常检测。 本发明通过光流计 算、 对象检测和实例分割准确提取出视频帧中的 对象像素， 并将其与计算得到的类型信息、 位置 信息和光流图进行维度融合， 生成对象元这种新 型数据， 之后将对象元输入多级记忆搜索引导自 动编码器进行训练和重建， 实现从多个维度进行 视频异常检测。 权利要求书2页 说明书7页 附图3页 CN 115171049 A 2022.10.11 CN 115171049 A 1.一种基于对象元的视频异常检测方法， 其特 征在于， 包括如下步骤： S1： 对一段任意场景的视频图像进行光 流计算和对象检测， 生成对象元； S2： 将对象元输入多 级记忆搜索引导自动 编码器进行训练， 得到图像重建模型； S3： 将图像重建模型应用于同一场景的待检测视频上， 对待检测视频的对象进行图像 重建； S4： 将重建的图像映射回原视频帧， 根据图像间差异实现异常检测。 2.根据权利要求1所述的一种基于对象元的视频异常检测方法， 其特征在于， 所述步骤 S1的具体过程 为： S11： 选择一段任意场景的视频， 按相同间隔进行视频帧提取， 得到一组等时间间隔视 频帧图像(Fr0， Fr1， Fr2， ...， Frt‑1)， 视频帧个数为t； S12： 使用FlowNet网络计算等时间间隔视频帧图像中相邻帧之间的光流， 得到光流图 (Fl0， Fl1， Fl2， ...， Flt‑1)， 个数为t ‑1； S13： 使用Mask  RCNN对前t ‑1个等时间间隔视频帧图像进行对象检测和实例定位， 得到 每一个对象的类型信息和位置掩码信息； S14： 将类型信息和位置掩码信息进行编码， 并转换为统一大小的Numpy数组， 得到对象 类型元fit和对象位置元 S15： 根据位置掩码信息对t ‑1个光流图中的每一张图进行同位置光流提取， 并将提取 出的光流转换为统一大小的Numpy数组， 得到对象光 流元 S16： 根据位置掩码信息对前t ‑1个等时间间隔视频帧图像 中的每一帧进行对象像素提 取， 并将提取 出的对象像素转换为统一大小的Numpy数组， 得到对象像素 元 S17： 将每一个对 象对应的对 象类型元fit、 对象位置元 对象光流元 和对象像素元 进行维度合并， 得到每一个对象所对应的对象元 3.根据权利要求1所述的一种基于对象元的视频异常检测方法， 其特征在于， 所述步骤 S2的具体过程 为： S21： 构建多 级记忆搜索引导自动 编码器； S22： 多级记忆搜索引导自动编码器的结构依次为第一级编码器、 第一级记忆模块、 第 二级编码 器、 第二级记忆模块、 第三级编码 器、 第三级记忆模块、 第三级解码 器、 第二级解码 器和第一级解码器； 其中编码器负责对输入进行下采样编码， 解码器负责对输入进行上采 样解码， 记忆模块负责存储编码器输出的编码； 记忆模块的本质为N ×C的矩阵， N为最大记 录条数， C为所记录编码的维数， 在训练时记忆模块打开存储功能， 通过矩阵运算改变内部 的矩阵值， 从而实现存储； 在检测时， 记忆模块关闭存储功能， 仅提供查询和重 建功能， 通过 编码相似性 查找与输入编码最接 近的记录并输出； S23： 编码部分： 第一级编码器、 第二级编码器的结构依次为Conv层、 BN层和LeakReLU 层， 第三级编码器的结构依次为Co nv层、 BN层、 LeakReLU层、 Co nv层、 BN层和LeakReLU层； S24： 解码部分： 第三级解码器的结构依次为deConv层、 B N层、 LeakReLU层、 deConv层、 BN 层和LeakReLU层， 第二级解码器的结构依次为deConv层、 BN层和LeakReLU层， 第三级解码器 的结构为单个deCo nv层； S25： 将待训练的对象元输入多级记忆搜索引导自动编码器后进行训练， 得到图像重建权　利　要　求　书 1/2 页 2 CN 115171049 A 2模型。 4.根据权利要求1所述的一种基于对象元的视频异常检测方法， 其特征在于， 所述步骤 S3的具体过程 为： S31： 对同一场景的待检测视频按照等时间 间隔进行实时抽帧； S32： 将每一对相邻视频帧输入Fl owNet网络计算出光 流图； S33： 使用Mask  RCNN对每一对相邻视频帧中的前一帧进行对象检测和实例分割， 构造 出其中的所有对象元， 使用位置列 表记录每一个对象元所表征的对象在原图像中的位置坐 标； S34： 使用S2中训练得到的图像重建模型初始化多级记忆搜索引导自动编码器， 使记忆 模块加载记 忆矩阵， 完成记 忆模块初始化； S35： 将每一对相邻视频帧所构造出的所有对象元输入多级记忆搜索引导自动编码器， 经过编码器转换为编码， 并输入记忆模块， 记忆模块查找记忆矩阵得到在训练过程中记忆 的与之最相似的编码进行输出， 在经过多级编码和多级记忆搜索后得到最深层编码， 再经 过三级解码器进行 上采样重建， 从而得到 重建对象元； S36： 计算在多级记忆搜索引导自动编码器对输入的对象元进行图像重建时的总损失 函数L， 所述总损失函数L由重构损失Lrec和记忆模块的熵损失Lent构成； 假设模型的输入为 对象元M， 重构输出为 则在编解码过程中该对象元的重建损失为 最小化l2距离： 在记忆模块中， 由于加入正则化策略以提高 的稀疏性， 其会最小化 的熵， 从而在每 一个记忆模块中产生熵损失， 因此对于第i级记 忆模块， 其熵损失为： 其中， 为该记忆模块的输入匹配对应的记忆矩阵的第n行的概率， 根据Lrec和Lent可以 求得模型的总损失函数L： L＝aLrec+β Lent#    (3) 其中， α 和β 为平衡参数。 5.根据权利要求1所述的一种基于对象元的视频异常检测方法， 其特征在于， 所述步骤 S4的具体过程 为： S41： 将每一个重建对象元按照位置列表中的记录映射回原图像 中， 在完成所有映射后 得到除最后一帧视频帧图像外的所有视频帧图像的重建图像； S42： 根据重建图像与原图像的差异计算AUC分数； S43： 将AUC分数进行可视化处理， 对一段待检测视频帧中的所有抽取视频帧依次按顺 序进行标号， 并计算出除最后一帧视频帧之外所有视频帧的AUC 分数， 在绘制可视化图时将 标号集合作为x轴， 将AUC分数集 合作为y轴绘制折线图， 折线图越平 滑检测效果越好； S44： 对视频帧中的异常进行可视化标注： 将重建图像与原图像进行相减处理， 当相减 处理时的噪点个数大于该对象本身像素个数的设定阈值时判定其为异常对象， 并进行标 注。权　利　要　求　书 2/2 页 3 CN 115171049 A 3