(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556609.1 (22)申请日 2022.05.19 (71)申请人 重庆科技学院 地址 401331 重庆市沙坪坝区大 学城东路 20号 (72)发明人 张晨曦　郭长金　蒋鸿伟　杜永春　 徐杰　刘肇川　 (74)专利代理 机构 济南凳凳知识产权代理有限 公司 37386 专利代理师 罗如意 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01)G06V 10/26(2022.01) G06V 10/20(2022.01) G06V 10/28(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于深度学习的线上 学习状态监测方法 (57)摘要 本发明公开了一种基于深度学习的线上学 习状态监测方法， 其特征在于， 它包括如下步骤： S1： 基于边缘检测对第一个人体前景提取后对图 像预处理； S2： 基于MTCNN三级联卷积神经网络作 为人脸检测器， 利用SSD目标检测网络， 实现学习 面部状态的检测， S3： 结合多种面部状态完成疲 劳和发呆学习状态的判定。 本发 明通过学生在线 上学习中的特征动作检测与识别， 将每个学生的 学习状态 直观地反馈给老师， 以便老师有针对性 的对每个学生制定相适应的学习计划。 权利要求书1页 说明书6页 附图2页 CN 114943983 A 2022.08.26 CN 114943983 A 1.一种基于深度学习的线上 学习状态监测方法， 其特 征在于， 它包括如下步骤： S1： 基于边 缘检测对第一个人体前 景提取后对图像预处 理； S2： 基于MTCNN三级联卷积神经网络作为人脸检测器， 利用SSD目标检测网络， 实现学习 面部状态的检测， S3： 结合多种面部状态完成疲劳和发呆学习状态的判定 。 2.如权利要求1所述的基于深度学习的线上学习状态监测方法， 其特征在于， 步骤S1 中， 检测公式为： 若B(i， j)值 为“真”则趋向判定为 边缘像素点， 反 之则抑制； 获取边缘后与二 值图取并集得到边 缘图， 边缘图计算公式为式： Ie＝bool(Im∪Ib) 式中Ie表示融合了二 值图边缘Im与前景图边缘Ib的最终边 缘图。 3.如权利要求1所述的基于深度学习的线上学习状态监测方法， 其特征在于， 步骤S2 中， 损失函数如公式为： 4.如权利要求1所述的基于深度学习的线上学习状态监测方法， 其特征在于， 步骤S3 中， 以60秒为一个节点， 统计该段时间内的眨眼次数， 当检测到眨眼频率不处于阈值范围 内， 则认为学员处于疲劳状态。 5.如权利要求1所述的基于深度 学习的线上学习状态监测方法， 其特征在于， 在步骤S2 中， 使用面部数据集训练前， 使用标准数据集Pascal  VOC2007对模型进行训练。权　利　要　求　书 1/1 页 2 CN 114943983 A 2基于深度学习的线上学习状态 监测方法 技术领域 [0001]本发明涉及一种基于深度学习的线上 学习状态监测方法。 背景技术 [0002]随着疫情的到来， 在停课不停学的大背景下， 线上教学成为应对疫情手段，  而如 何有效监控学生的学习状态， 实现学生学习效率的最大化， 这正是线 上教 学迫切需解决的 问题。 为此， 发明提出基于深度学习技术与理论， 利用图像处  理方法， 结合软件开发， 构建 一款具有 学习状态 监测功能的线 上学习室系统，  通过对学生线 上学习姿态的采集， 经姿态 分析， 进而帮助老师和家长全面掌控  学生的学习状态。 发明内容 [0003]针对上述现有技术的不足， 本发明提供了一种基于深度学习的线上学习状  态监 测方法。 [0004]本发明解决其 技术问题所采用的技 术方案是： [0005]一种基于深度学习的线上 学习状态监测方法， 它包括如下步骤： [0006]S1： 基于边 缘检测对第一个人体前 景提取后对图像预处 理； [0007]S2： 基于MTCNN三级联卷积神经网络作为人脸检测器， 利用SSD目标检测  网络， 实 现学习面部状态的检测， [0008]S3： 结合多种面部状态完成疲劳和发呆学习状态的判定 。 [0009]进一步的， 步骤S1中， 检测公式为： [0010] [0011]若B(i， j)值 为“真”则趋向判定为 边缘像素点， 反 之则抑制； [0012]获取边缘后与二 值图取并集得到边 缘图， 边缘图计算公式为式： [0013]Ic＝bool(Im∪Ib) [0014]式中Ie表示融合了二 值图边缘Im与前景图边缘Ib的最终边 缘图。 [0015]进一步的， 步骤S2中， 损失函数如公式为： [0016] [0017]进一步的， 步骤S3中， 以60秒为一个节点， 统计该段时间内的眨眼次数，  当检测到 眨眼频率 不处于阈值范围内， 则认为学员处于疲劳状态。 [0018]进一步的， 在步骤S2中， 使用面部数据集训练前， 使用标准数据集Pascal VOC2007 对模型进行训练。说　明　书 1/6 页 3 CN 114943983 A 3