(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221010170 3.8 (22)申请日 2022.01.27 (71)申请人 厦门大学 地址 361000 福建省厦门市思明区思明南 路422号 (72)发明人 刘昆宏　陈滨　姚俊峰　陈俐燕　 林璐　 (74)专利代理 机构 厦门市新 华专利商标代理有 限公司 3 5203 专利代理师 朱凌 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01)G06V 10/62(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的课堂学生动作识别方 法及系统 (57)摘要 本发明提供了动作识别技术领域的一种基 于深度学习的课堂学生动作识别方法及系统， 方 法包括： 步骤S10、 对捕获的课堂视 频进行剪辑得 到若干个课堂子视频； 步骤S2 0、 通过人脸检测算 法依次检测各课堂子视频中的人脸， 进而将课堂 子视频剪辑成若干个人脸子视频； 步骤S30、 分别 提取各人脸子视频的静态特征图片以及动态特 征图片， 基于各静态特征图片以及动态特征图片 构建训练数据集； 步骤S40、 基于深度学习创建一 动作识别模 型， 利用训练数据集对动作识别模型 进行训练； 步骤S50、 利用训练后的动作识别模型 对摄像头捕捉的课堂视频进行实时的动作识别。 本发明的优点在于： 实现实时、 准确的识别学生 动作， 以及时调整教学策略， 进而极大的提升了 教学质量。 权利要求书2页 说明书8页 附图3页 CN 114495232 A 2022.05.13 CN 114495232 A 1.一种基于深度学习的课 堂学生动作识别方法， 其特 征在于： 包括如下步骤： 步骤S10、 捕捉大量的课 堂视频， 并对所述课 堂视频进行剪辑得到若干个课 堂子视频； 步骤S20、 通过人脸检测算法依次检测各所述课堂子视频中的人脸， 进而将所述课堂子 视频剪辑成若干个人脸子 视频； 步骤S30、 分别提取各所述人脸子视频的静态特征图片以及动态特征图片， 基于各所述 静态特征图片以及动态特 征图片构建训练数据集； 步骤S40、 基于深度 学习创建一动作识别模型， 利用所述训练数据集对动作识别模型进 行训练； 步骤S50、 利用训练后的所述动作识别模型对摄像头捕捉的课堂视频进行实时的动作 识别。 2.如权利要求1所述的一种基于深度 学习的课堂学生动作识别方法， 其特征在于： 所述 步骤S10具体为： 通过设于课堂的摄像头捕捉大量的课堂视频， 并通过预设的时间间隔对所述课堂视频 进行顺序剪辑得到若干个课 堂子视频。 3.如权利要求1所述的一种基于深度 学习的课堂学生动作识别方法， 其特征在于： 所述 步骤S20具体为： 先对各所述课堂子视频进行降噪处理， 再通过Viola ‑Jones人脸检测算法依次检测各 所述课堂子视频中的人脸， 通过矩形框标识检测到人脸的人脸区域， 对各所述矩形框标识 的人脸区域进行剪辑， 得到若干个人脸子 视频。 4.如权利要求1所述的一种基于深度 学习的课堂学生动作识别方法， 其特征在于： 所述 步骤S30具体包括： 步骤S31、 分别从各 所述人脸子 视频中随机 选取一帧第一图片作为静态特 征图片； 步骤S32、 在各所述静态特征图片之后， 每隔8帧提取一帧第二 图片， 依次提取4帧所述 第二图片； 步骤S33、 利用TV_L1方法从各所述静态特征图片以及第二图片提取横向光流以及纵向 光流， 叠加所述横向光 流以及纵向光 流得到动态特 征图片； 步骤S34、 基于各 所述静态特 征图片以及动态特 征图片构建训练数据集。 5.如权利要求1所述的一种基于深度 学习的课堂学生动作识别方法， 其特征在于： 所述 步骤S40中， 所述动作 识别模型包括一用于提取静态特征向量的空间流模块、 一用于提取动 态特征向量的时序流模块、 一用于拼接所述静态特征向量和动态特征向量的第一全连接 层； 所述空间流模块以及时序流模块的输出端与第一全连接层的输入端连接； 所述空间流模块 由使用ImageNet预训练好 的一Inception  V3单元以及一第二全连接 层组成； 所述时序流模块由五个卷积层以及一个第 三全连接层组成； 各所述卷积层采用大小为 3×3， 步长为1的卷积核； 所述时序流模块采用ReLU函数作为激活函数。 6.一种基于深度学习的课 堂学生动作识别系统， 其特 征在于： 包括如下模块： 课堂视频剪辑模块， 用于捕捉大量的课堂视频， 并对所述课堂视频进行剪辑得到若干 个课堂子视频； 人脸检测模块， 用于通过人脸检测算法依次检测各所述课堂子视频中的人脸， 进而将权　利　要　求　书 1/2 页 2 CN 114495232 A 2所述课堂子视频剪辑成若干个人脸子 视频； 训练数据集构建模块， 用于分别提取各所述人脸子视频的静态特征图片以及动态特征 图片， 基于各 所述静态特 征图片以及动态特 征图片构建训练数据集； 动作识别模型训练模块， 用于基于深度学习创建一动作识别模型， 利用所述训练数据 集对动作识别模型进行训练； 动作识别模块， 用于利用训练后的所述动作识别模型对摄像头捕捉的课堂视频进行实 时的动作识别。 7.如权利要求6所述的一种基于深度 学习的课堂学生动作识别系统， 其特征在于： 所述 课堂视频剪辑模块具体为： 通过设于课堂的摄像头捕捉大量的课堂视频， 并通过预设的时间间隔对所述课堂视频 进行顺序剪辑得到若干个课 堂子视频。 8.如权利要求6所述的一种基于深度 学习的课堂学生动作识别系统， 其特征在于： 所述 人脸检测模块具体为： 先对各所述课堂子视频进行降噪处理， 再通过Viola ‑Jones人脸检测算法依次检测各 所述课堂子视频中的人脸， 通过矩形框标识检测到人脸的人脸区域， 对各所述矩形框标识 的人脸区域进行剪辑， 得到若干个人脸子 视频。 9.如权利要求6所述的一种基于深度 学习的课堂学生动作识别系统， 其特征在于： 所述 训练数据集构建模块具体包括： 静态特征图片选取单元， 用于分别从各所述人脸子视频中随机选取一帧第 一图片作为 静态特征图片； 第二图片选取单元， 用于在各所述静态特征图片之后， 每隔8帧提取一帧第二图片， 依 次提取4帧所述第二图片； 动态特征图片提取单元， 用于利用TV_L1方法从各所述静态特征图片以及第二 图片提 取横向光 流以及纵向光 流， 叠加所述横向光 流以及纵向光 流得到动态特 征图片； 静动态特征图片整合单元， 用于基于各所述静态特征图片以及动态特征图片构建训练 数据集。 10.如权利要求6所述的一种基于深度学习的课堂学生动作识别系统， 其特征在于： 所 述动作识别模型训练模块中， 所述动作 识别模型包括一用于提取静态特征向量的空间流模 块、 一用于提取动态特征向量的时序流模块、 一用于拼接所述静态特征向量和动态特征向 量的第一全连接层； 所述空间流模块以及时序流模块的输出端与第一全连接层的输入端连 接； 所述空间流模块 由使用ImageNet预训练好 的一Inception  V3单元以及一第二全连接 层组成； 所述时序流模块由五个卷积层以及一个第 三全连接层组成； 各所述卷积层采用大小为 3×3， 步长为1的卷积核； 所述时序流模块采用ReLU函数作为激活函数。权　利　要　求　书 2/2 页 3 CN 114495232 A 3