(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210786689.X (22)申请日 2022.07.05 (71)申请人 广州城市职业学院 地址 510405 广东省广州市白云区广园中 路248号 (72)发明人 余承健　洪洲　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郭浩辉 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) (54)发明名称 一种学生课堂行为的识别方法、 装置、 终端 设备及介质 (57)摘要 本发明提供了一种学生课堂行为的识别方 法、 装置、 终端设备及介质， 通过三元组训练数据 将学生课堂行为的差异放大， 使得初步的姿态分 类模型在训练的过程中能够获取更多差异信息， 无需增加额外的神经网络便能提高模型的灵敏 度； 根据姿态分类模型获得三元 组训练数据的特 征信息， 计算第一损失值和第二损失值， 从而根 据第一损失值和第二损失值计算总损失值， 计算 总损失值， 并根据进行模型的调参， 获得最终的 姿态分类模 型， 有利于提高姿态分类模型的判别 能力。 通过最终的姿态分类模型进行待测课堂行 为图像的识别， 能够提高学生课堂行为的识别准 确度。 权利要求书2页 说明书11页 附图3页 CN 115171042 A 2022.10.11 CN 115171042 A 1.一种学生课 堂行为的识别方法， 其特 征在于， 包括： 对构建的三元组训练数据进行第 一姿态信 息的提取， 将所述第 一姿态信 息输入至预设 的第一姿态分类模型， 获取特征信息； 其中， 所述三元组训练数据由锚点类别不同的学生课 堂行为样本组成； 根据所述特 征信息， 计算获得第一损失值和第二损失值； 根据所述第一损 失值和所述第二损 失值， 计算总损 失值， 并根据所述总损 失值对所述 第一姿态分类模型进行参数调整， 获得最终的第二姿态分类模型； 将待测课堂行为图像的第 二姿态信 息输入至所述第 二姿态分类模型， 获得所述待测课 堂行为图像对应的识别结果。 2.根据权利要求1所述的学生课堂行为的识别方法， 其特征在于， 所述三元组训练数 据， 包括： 第一类别课堂行为样本、 第二类别课堂行为样本和第三类别课堂行为样本； 其中， 所述第一类别课堂行为样本包括： 第一课堂行为图片和第一锚点类别标签， 所述第二类别 课堂行为样本包括： 第二课堂行为图片和第二锚点类别标签， 所述第三类别课堂行为样本 包括： 第三课堂行为图片和第三锚点类别标签； 所述第一锚点类别和所述第二锚点类别相 同， 以及所述第一锚点类别和所述第三锚点类别不相同。 3.根据权利要求2所述的学生课堂行为的识别方法， 其特征在于， 所述将所述第 一姿态 信息输入至预设的第一姿态分类模型， 获取 特征信息， 具体为： 根据所述第 一姿态信 息， 按照锚点类别标签分别 输入至所述第 一姿态分类模型的若干 任务分支中； 其中， 每个任务分支与锚点类别标签一一对应， 以及第一姿态信息包括： 第一 类别课堂行为样本的姿态信息、 第二类别课堂行为样本的姿态信息和 第三类别课堂行为样 本的姿态信息； 汇总每个任务分支输出的深度特征， 获得所述特征信息； 其中， 所述特征信息包括： 第 一类别课堂行为样本的深度特征、 第二类别课堂行为样本的深度特征和 第三类别课堂行为 样本的深度特 征。 4.根据权利要求3所述的学生课堂行为的识别方法， 其特征在于， 所述根据所述特征信 息， 计算获得第一损失值和第二损失值， 具体为： 根据所述第 一类别课堂行为样本的深度特征、 所述第 二类别课堂行为样本的深度 特征 和所述第三类别课 堂行为样本的深度特 征， 通过第一公式计算第一损失值 LTCE： LTCE＝max(L1,0) L1＝‑falog(fp)+falog(fn)+margin 其中， fa为第一类别课堂行为样本的深度特征， fp为第二类别课堂行为样本的深度特 征， fn为第三类别课堂行为样本的深度特征， falog(fp)为第一类别课堂行为样本与第二类 别课堂行为样本预测的特征距离 值， falog(fn)为第一类别课堂行为样本与第三类别课堂行 为样本预测的特 征距离值， margi n为第一权 重， LTCE为不同任务分支的姿态差异损失值； 当L1大于0时， 则LTCE为L1； 当L1小于0时， 则LTCE为0。 5.根据权利要求4所述的学生课堂行为的识别方法， 其特征在于， 所述根据所述特征信 息， 计算获得第一损失值和第二损失值， 还 包括： 根据所述第 一类别课堂行为样本的深度特征、 所述第 二类别课堂行为样本的深度 特征权　利　要　求　书 1/2 页 2 CN 115171042 A 2和所述第三类别课 堂行为样本的深度特 征， 通过第二公式计算第二损失值 Lcross_entropy： Lcross_entropy＝La+Lp+Ln La＝‑∑yalog(fa) Kp＝‑∑yplog(fp) Ln＝‑∑ynlog(fn) 其中， La为第一类别课堂行为样本的交叉熵损失值， Lp为第二类别课堂行为样本的交叉 熵损失值， Ln为第三类别课堂行为样本的交叉熵损失值， ya为第一类别课堂行为样本的第一 锚点类别标签， yp为第二类别课堂行为样本的第二锚点类别标签， yn为第三类别课堂行为样 本的第三锚点类别标签。 6.根据权利要求5所述的学生课堂行为的识别方法， 其特征在于， 所述根据所述第 一损 失值和所述第二损失值， 计算总损失值， 具体为： 将所述第一损 失值和所述第二损 失值， 结合预设的第二权重， 通过第三公式计算总损 失值Ltotal： Ltotal＝LTCE+α Lcross_entropy 其中， α 为第二权 重。 7.根据权利要求2所述的学生课堂行为的识别方法， 其特征在于， 所述预设的第 一姿态 分类模型由三层卷积层和三层的多层感知 层组成。 8.一种学生课堂行为的识别装置， 其特征在于， 包括： 信 息获取模块、 第 一计算模块、 第 二计算模块和结果输出模块； 所述信息获取模块， 用于对构建的三元组训练数据进行第一姿态信息的提取， 将所述 第一姿态信息输入至预设的第一姿态分类模型， 获取特征信息； 其中， 所述三元组训练数据 由锚点类别不同的学生课 堂行为样本组成； 所述第一计算模块， 用于根据所述特 征信息， 计算获得第一损失值和第二损失值； 所述第二计算模块， 用于根据 所述第一损失值和所述第 二损失值， 计算总损失值， 并根 据所述总损失值对所述第一姿态分类模型进行参数调整， 获得最终的第二姿态分类模型； 所述结果输出模块， 用于将待测课堂行为图像的第 二姿态信 息输入至所述第 二姿态分 类模型， 获得 所述待测课 堂行为图像对应的识别结果。 9.一种计算机终端设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器 中且 被配置为由所述处理器执行的计算机程序， 所述处理器执行所述计算机程序时实现如权利 要求1至7中任意 一项所述的一种学生课 堂行为的识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权 利要求1至7中任意 一项所述的一种学生课 堂行为的识别方法。权　利　要　求　书 2/2 页 3 CN 115171042 A 3