(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152537.0 (22)申请日 2022.09.21 (71)申请人 深圳中维神目科技有限公司 地址 518000 广东省深圳市龙岗区坂田街 道岗头社区天安云谷产业园一期3栋 ABCD座A1201 (72)发明人 谭卫军　 (74)专利代理 机构 济南千慧专利事务所(普通 合伙企业) 37232 专利代理师 傅静 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视频文件全局分类的异常检测方 法、 设备及 介质 (57)摘要 本发明公开了一种基于视频文件全局分类 的异常检测方法、 设备及介质， 属于视频异常检 测技术领域， 用于解决现有的视频异常检测方法 中视频文件片段分类分数容易进行误判， 难以保 证视频异常检测的准确性， 严重限制了视频文件 分类的性能的技术问题。 方法包括： 对视频文件 进行特征提取， 得到视频片段特征； 将第二片段 特征进行样 本特征划分， 得到正 常样本特征以及 异常样本特征； 并构建排序损失函数； 将预设分 类网络进行学习训练， 得到优化分类网络； 通过 预设BERT模型， 对第二片段特征进行特征训练， 得到待分类视频全局特征； 将待分类视频全局特 征以及第一片段特征进行分类处理， 得到第一片 段特征的异常分数， 以进行对视频文件片段的异 常检测。 权利要求书2页 说明书7页 附图2页 CN 115497042 A 2022.12.20 CN 115497042 A 1.一种基于 视频文件 全局分类的异常检测方法， 其特 征在于， 所述方法包括： 通过预设的三维卷积神经网络， 对视频文件进行特征提取， 得到视频片段特征； 其中， 所述视频片段 特征包括第一片段 特征以及第二片段 特征； 将所述第二片段 特征进行样本特 征划分， 得到正常样本特 征以及异常样本特 征； 根据所述正常样本特征以及异常样本特征， 构建排序损 失函数； 并根据所述排序损 失 函数， 将预设 分类网络进行 学习训练， 得到优化分类网络； 通过预设BERT模型， 对所述第二片段 特征进行特征训练， 得到待分类视频全局特 征； 通过所述优化分类网络， 将所述待分类视频全局特征以及所述第 一片段特征进行分类 处理， 得到所述第一片段 特征的异常 分数， 以进行对视频文件片段的异常检测。 2.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 通 过预设的三维卷积神经网络， 对视频文件进行 特征提取， 得到 视频片段 特征， 具体包括： 根据预设视频帧数， 将所述视频文件中的视频片段进行等分切割， 得到若干视频小片 段； 通过所述三维卷积神经网络， 对每 个视频小片段进行 特征提取， 得到第一片段 特征； 根据预设时间长度， 将所述第一片段特征进行等分， 得到第二片段特征； 其中， 所述第 一片段特征与所述第二片段 特征共同组成视频片段 特征。 3.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 根 据所述正常样本特 征以及异常样本特 征， 构建排序损失函数， 具体包括： 获取所述异常样本特 征中任意 一个实例特 征， 得到第一实例特 征； 根据所述第 一实例特征， 获取所述正常样本特征中与 所述异常样本特征所对应的实例 特征， 得到第二实例特 征； 根据预设视频帧分类分数， 对所述第 一实例特征与第 二实例特征进行分类分数最大值 计算， 分别得到第一实例最大分类分数与第二实例最大分类分数； 将所述第一实例最大分类分数与 所述第二实例最大分类分数进行相减， 得到异常实例 差值； 对所述异常实例差值进行损 失最大值计算， 并根据结果进行损 失值排序， 得到所述排 序损失函数。 4.根据权利要求3所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 根 据所述排序损失函数， 将预设 分类网络进行 学习训练， 得到优化分类网络， 具体包括： 获取所述异常样本特征中第一实例最大分数以及所述正常样本特征中第二实例最大 分类分数； 根据所述排序损失函数， 对所述第 一实例最大分数与 所述第二实例最大分类分数进行 差异化处 理， 得到区分特 征； 通过所述区分特 征， 对所述预设 分类网络进行分数区分训练， 得到所述优化分类网络 。 5.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 通 过预设BERT模型， 对所述第二片段特征进行特征训练， 得到待分类视频全局特征， 具体包 括： 将所述第二片段特征输入到所述预设BERT模型的前端， 并进行信号的转换， 得到待分 类信息；权　利　要　求　书 1/2 页 2 CN 115497042 A 2根据所述预设BERT模型， 将所述待分类信息进行深层双向语言表征分类， 得到表征分 类信息； 将所述预设BERT模型增添额外的输出层， 以进行对所述表征分类信息的微调； 并根据 微调后的表征分类信息进行 特征训练， 得到待分类视频全局特 征。 6.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 在 通过所述优化分类网络， 将所述待分类视频全局特征以及所述第一片段特征进行分类处 理， 得到所述第一片段 特征的异常 分数之前， 所述方法还 包括： 将所述第一片段 特征输入到预设MI L模型中； 通过所述预设MIL模型， 对所述第一片段特征进行视频片段异常动态评估， 得到片段异 常响应； 根据所述预设MIL模型中的特征优化子网络， 将所述片段异常响应进行特征的提取， 得 到待分类片段 特征。 7.根据权利要求6所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 通 过所述优化分类网络， 将所述待分类视频全局特征以及所述第一片段特征进行分类处理， 得到所述第一片段 特征的异常 分数， 具体包括： 通过所述优化分类网络 中的全连接层， 将所述第 一片段特征中的待分类片段特征进行 分类分数的计算， 得到片段分类分数； 通过所述优化分类网络中的全连接层， 对所述待分类视频全局特征进行分类分数计 算， 得到视频文件分类分数； 将所述片段分类分数与所述视频文件分类分数进行相乘， 得到所述第 一片段特征的异 常分数； 其中， 所述第一片段特征 的异常分数为第一片段特征中每个视频小片段的异常分 数。 8.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法， 其特征在于， 以 进行对视频文件片段的异常检测， 具体包括： 将所述异常 分数与第一预设阈值进行对比判断； 若所述异常分数小于或者等于所述第 一预设阈值， 则所述视频文件片段的检测结果为 正常视频文件； 若所述异常分数大于所述第 一预设阈值， 则所述视频文件片段的检测结果为异常视频 文件， 并将所述异常视频文件中的连续异常视频片段定位为异常区域， 以实现对视频文件 进行异常检测的分类与定位。 9.一种基于 视频文件 全局分类的异常检测设备， 其特 征在于， 所述设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有能够被所述至少一个处理器执行的指令， 以使所述至少一个处理器 能够执行根据权利要求1 ‑8任一项所述的一种基于 视频文件 全局分类的异常检测方法。 10.一种非易失性计算机存储介质， 其特征在于， 所述存储介质为非易失性计算机可读 存储介质， 所述非易失性计算机可读存储介质存储有至少一个程序， 每个所述程序包括指 令， 所述指 令当被终端 执行时， 使 所述终端执行根据权利要求 1‑8任一项所述的一种基于视 频文件全局分类的异常检测方法。权　利　要　求　书 2/2 页 3 CN 115497042 A 3