(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211396385.9 (22)申请日 2022.11.09 (71)申请人 山东山大鸥玛软件股份有限公司 地址 250101 山东省济南市高新区伯乐路 128号 (72)发明人 马磊　陈义学　侯庆　梁延灼　 (74)专利代理 机构 山东舜源联合知识产权代理 有限公司 373 59 专利代理师 张亮 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于深度学习的考场异常行为分析方 法、 系统及终端机 (57)摘要 本发明提供一种基于深度学习的考场异常 行为分析方法、 系统及终端机， 涉及视频行为分 析领域， 获取考场监控视频信息， 并对考场监控 视频信息进行预处理； 构建卷积神经网络， 对监 控图像中的监考员和考生进行位置检测； 对监控 图像中的监考员和考生进行实时跟踪； 利用构建 的卷积神经网络， 取解耦头后的其中一路分支进 行行为分类识别， 对坐立和站立两种行为进行识 别； 通过识别的行为类别以及个体在连续帧下站 立的时长及位移情况， 判断是否为学生； 如果为 学生站立则会触发系统预警， 提示有考生异常行 为。 本发明对考场出现的异常情况进行预警， 辅 助审查人员进行判断和决策， 提高异常分析的效 率和准确度。 权利要求书2页 说明书8页 附图1页 CN 115546899 A 2022.12.30 CN 115546899 A 1.一种基于深度学习的考场异常行为分析 方法， 其特 征在于， 方法包括： 步骤 （1） ： 获取考场监控视频信息， 并对考场监控视频信息进行 预处理； 步骤 （2） ： 构建卷积神经网络， 对监控图像中的监 考员和考 生进行位置检测； 步骤 （3） ： 对监控图像中的监 考员和考 生进行实时跟踪； 步骤 （4） ： 利用步骤 （2） 构建的卷积神经网络， 取解耦头后的其中一路分支进行行为分 类识别， 对坐 立和站立两种行为进行识别； 通过识别的行为类别以及个 体在连续帧下站立的时长及位移情况， 判断是否为学生； 如果为学生站立则会触发系统预警， 提 示有考生异常行为。 2.根据权利要求1所述的基于深度学习的考场异常行为分析方法， 其特征在于， 步骤 （1） 还包括： 截取考试过程中的监控视频， 将非考试时间监控视频去除， 对不同格式的视频 进行解码， 并且 对视频进行等间隔采样抽帧。 3.根据权利要求1所述的基于深度学习的考场异常行为分析方法， 其特征在于， 步骤 （2） 还包括： 搭建卷积神经网络并对原始的监控图像进 行人工标注， 利用标注 好的图像进 行 模型训练， 最终 获得监考员及每 个考生的位置 框。 4.根据权利要求3所述的基于深度学习的考场异常行为分析方法， 其特征在于， 步骤 （2） 中， 利用训练完成的模型进行推理预测， 最终得到每个人的位置坐标信息 ， 其中 为矩形框的左上角坐标， 分别为矩形框的宽度和高度。 5.根据权利要求1或2所述的基于深度学习的考场异常行为分析方法， 其特征在于， 步 骤 （3） 还包括： 调取每一帧图像中监考员和考生的位置信息， 对每个检测框进 行人体属性特 征向量提取， 利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测， 并将预测结 果与当前帧所有检测框进 行交并比计算得分， 同时对所有检测框进行人体属性特征向量比 对， 最终结合两者得分情况将相似度最高的检测框标为同一个人的ID。 6.根据权利要求5所述的基于深度学习的考场异常行为分析方法， 其特征在于， 步骤 （3） 中， 设系统状态向量 为： 其中 为k时刻矩形框的中心点坐标， 分别为矩形框的宽度和高度， 为k时刻经卡尔曼滤波预测的矩形框的中心点坐标， 分别为k时刻经卡 尔曼滤波预测的矩形框的宽度和高度； 利用预测方程对k时刻的状态向量 和协方差 进行预测， 具体公式如下： 其中， 是状态转移 矩阵， 根据先验知识得到， 是噪声的协方差矩阵； 根据预测的状态值和实际观测值进行卡尔曼 滤波参数 更新， 具体更新公式如下： 权　利　要　求　书 1/2 页 2 CN 115546899 A 2其中， 为测量矩阵， R为测量过程的协方差矩阵， 为卡尔曼增益； 将卡尔曼滤波算法得到的所有预测框A与目标检测模型得到的所有检测框B进行IOU计 算， 具体公式如下： 提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对， 最终得到外观 成本矩阵 ,结合IOU计算得到的运动成本矩阵 ， 最终生成总成本矩阵C,具体公式如下： 其中， 为权重因子； 通过匈牙利算法对成本矩阵进行最优分配 计算， 得到当前帧各人员 所属的ID。 7.根据权利要求1或2所述的基于深度学习的考场异常行为分析 方法， 其特 征在于， 步骤 （4） 中经Softmax激活函数 得到最终的行为类别， 具体公式如下： 其中， 为第i个节点的输出， C为分类的类别个数， 取值 为2； 通过对行为类型进行分类识别后， 确定每个人的站立、 坐立行为， 然后对连续时序帧下 的所有人的行为进行站 立时长和位移距离 分析， 将站立时长最长及位移距离最远的人员划 分为监考人员， 将存在短暂站立行为及短位移距离的人员划分为考生， 并对发生站立行为 的考生进行智能识别并预警。 8.一种基于深度 学习的考场异常行为分析系统， 其特征在于， 系统采用如权利要求1至 7任意一项所述的基于深度学习的考场异常行为分析 方法； 系统包括： 视频采集模块、 预处理模块、 位置检测模块、 人员跟踪模块以及行为识别模 块； 视频采集模块用于获取考场监控视频信息； 预处理模块用于对考场监控视频信息进行 预处理； 位置检测模块用于构建卷积神经网络， 对监控图像中的监 考员和考 生进行位置检测； 人员跟踪模块用于对监控图像中的监 考员和考 生进行实时跟踪； 行为识别模块用于利用构建的卷积神经网络， 取解耦头后的其中一路分支进行行为分 类识别， 对坐 立和站立两种行为进行识别； 通过识别的行为类别以及个 体在连续帧下站立的时长及位移情况， 判断是否为学生； 如果为学生站立则会触发系统预警， 提 示有考生异常行为。 9.一种终端机， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所述 基于深度学习的考场异常行为分析 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546899 A 3