(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765871.7 (22)申请日 2022.07.01 (71)申请人 湖南工商大 学 地址 410205 湖南省长 沙市岳麓 大道569号 (72)发明人 黄少年　全琪　杨正杰　陈荣元　 (74)专利代理 机构 长沙轩荣专利代理有限公司 43235 专利代理师 齐超 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于掩码tran sformer的半监督人群场景异 常检测方法 (57)摘要 本发明实施例中提供了一种基于掩码 transformer的半监督人群场景异常检测方法， 属于数据识别技术领域， 具体包括： 生成带异常 信息的前景图序列； 生成人群图像正常事件的潜 在特征表示； 构造潜在表示优化器， 输入带掩码 符号的特征图， 预测被掩码部分的真实图像， 并 引入多重掩码预测损失， 结合损失值优化改进的 transformer前景特征提取器相关参数； 采用反 卷积构造重建器， 并定义正常事件类间的差异约 束模块； 优化网络参数得到检测模型； 利用检测 模型对人群图像序列进行判别， 输出异常分值， 并对异常分值进行阈值判别， 筛选出异常图像并 输出相关异常数据。 通过本发明的方案， 在满足 实时性检测的需求下， 提高了 检测准确率。 权利要求书2页 说明书10页 附图2页 CN 115100599 A 2022.09.23 CN 115100599 A 1.一种基于掩码t ransformer的半监 督人群场景异常检测方法， 其特 征在于， 包括： 步骤1， 对输入的人群场景图像提取光流序列， 采用目标检测网络定位具备运动前景的 区域， 并进行冗余信息过 滤， 生成带异常信息的前 景图序列； 步骤2， 对前景图序列进行均等切分， 并以预设比例进行掩码， 将未被掩码部分输入到 改进的transformer前景特征提取器中进行特征提取， 生成人群图像正常事件的潜在特征 表示； 步骤3， 结合掩码机制， 采用transformer块构造潜在表示优化器， 输入带掩码 符号的特 征图， 预测被掩码部分的真实图像， 并引入多重掩码预测损失， 结合损失值优化改进的 transformer前 景特征提取器相关参数； 步骤4， 采用反卷积构造 重建器， 并定义 正常事件类间的差异约束模块； 步骤5， 采用半监督 式训练方式， 训练改进的transformer前景特征提取器、 潜在表示优 化器和重建器， 以及结合掩码策略， 优化网络参数 得到检测模型； 步骤6， 利用检测模型对人群 图像序列进行判别， 输出异常分值， 并对异常分值进行阈 值判别， 筛 选出异常图像并输出相关异常数据。 2.根据权利要求1所述的方法， 其特 征在于,所述 步骤1具体包括： 步骤1.1， 采用Fl ownet2深度网络提取光 流序列； 步骤1.2， 采用Cascade  RCNN深度网络 定位运动前景区域； 步骤1.3， 将过滤后的前景图统一归一化到到32 ×32大小， 形成带异常信息的前景图序 列。 3.根据权利要求2所述的方法， 其特征在于,所述改进的transformer前景特征提取器 包括多层t ransformer块， 其中， 每层t ransformer包括A ttention层和前馈网络层。 4.根据权利要求3所述的方法， 其特 征在于,所述 步骤2具体包括： 步骤2.1， 对于生成的前景图切分成大小相等且不重叠的块， 并以适合图像类数据的预 设比例进行掩码， 将未掩码的部分输入到改进的t ransformer前 景特征提取器中； 步骤2.2， 利用改进的transformer前景特征提取器对未掩码的部分X＝(x1，…xt)进行 块编码， 引入位置信息并进行归一化， 然后对X朝三个方向做线性映射， 生成三个矩阵Q,K, V,表示为： 步骤2.3， 对矩阵Q,K进行平均池化处 理后输入A ttention层计算注意力； 步骤2.4， 将Attention层的计算结果输入到前馈网络层 中完成一层transformer块 的 计算； 步骤2.5， 通过多层transformer块的计算提取前景特征， 形成人群图像正常事件的潜 在特征表示。 5.根据权利要求5所述的方法， 其特 征在于,所述前馈网络层包括两层全连接层。 6.根据权利要求6所述的方法， 其特 征在于， 所述 步骤3具体包括： 步骤3.1， 采用一层t ranformer块以及多个卷积构成潜在表示优化器；权　利　要　求　书 1/2 页 2 CN 115100599 A 2步骤3.2， 将改进的transformer前景特征提取器中除最后一层外每层transformer块 得到的特征图与掩码符号按位置顺序排列 组合， 输入到潜在表示优化器中， 通过潜在表示 优化器预测被掩码部分的真实图像， 并引入多重损失， 表示如下： 其中， G表示优化器接收前景特征提取器获得的特征图的次数， Φ表示原始前景图中被 掩码区域的真实值， 表示优化器第i次接收特 征图时， 被掩码区域的预测值。 7.根据权利要求6所述的方法， 其特 征在于,所述 步骤4具体包括： 步骤4.1， 利用反卷积以及多个正常事件类间差异约束模块组成重建器， 并利用其接收 改进的transformer前景特征提取器最后一层transformer块输出的特征图以及表示优化 器预测的前 景图作为输入； 步骤4.2， 更新每个正常事件类间差异约束模块对应的正常模式记忆矩阵M， 更新表达 式如下： M＝softmax(MPT)M 其中， P为输入的记 忆矩阵M的特 征图； 步骤4.3， 引入约束损失至正常事 件类间差异约束模块， 约束损失的表达式如下： 其中D表示记 忆矩阵M的个数， wi,j表示第i个记 忆矩阵中第j个记 忆槽的匹配概 率。 8.根据权利要求7 所述的方法， 其特 征在于,所述 步骤5具体包括： 步骤5.1， 采用随机梯度下降算法和不包含异常数据的训练集训练改进的transformer 前景特征提取器、 潜在表示优化器和重建器； 步骤5.2， 假设为y输入数据， 为重建结果， 重建损失定义如下： 步骤5.3， 结合多重掩码损失以及约束损失， 定义总损失为： L＝ λRECONLRECON+λMASKLMASK+λCONLCON 其中， λRECON， λMASK， λCON表示相应损失的平衡因子； 步骤5.4， 根据总损失优化网络参数 得到检测模型。 9.根据权利要求8所述的方法， 其特 征在于,所述 步骤6具体包括： 步骤6.1， 将人群图像序列输入检测模型， 根据正常类特征重构原始图像， 得到重构误 差作为异常 分值； 步骤6.2， 当异常 分值大于预设阈值时， 输出异常 分值对应的异常图像以及异常信息 。权　利　要　求　书 2/2 页 3 CN 115100599 A 3