(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544916.8 (22)申请日 2022.05.19 (71)申请人 广东电网有限责任公司 地址 510000 广东省广州市越秀区东 风东 路757号 申请人 广东电网有限责任公司电力科 学研 究院 (72)发明人 刘羽中　李华亮　范圣平　沈雅利　 王琪如　谢庭军　翟永昌　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郭浩辉 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 情绪识别方法、 装置、 终端设备及计算机可 读存储介质 (57)摘要 本申请公开了一种情绪识别方法、 装置、 终 端设备及计算机可读存储介质， 该方法包括： 基 于输入的连续帧视频序列， 提取每一帧图像的人 脸区域作为训练样本； 将训练样 本输入三维卷积 神经网络模 型， 获取每个视频帧序列的全局特征 图； 对全局特征图进行分块， 将生成的局部特征 图与全局特征图作为特征分块， 提取每个特征分 块的一维特征输入至三维卷积神经网络模型， 输 出初始预测情绪分数， 并确定每个特征分块的初 始权重， 根据每个特征分块的初始权重确定对应 的目标权重； 利用目标权重对初始预测情绪分数 进行加权， 生成目标预测情绪分数。 本申请结合 三维卷积神经网络和特征图分块， 增强未遮挡部 分的置信度， 提高了情绪识别的精度和 效率， 适 用范围更广。 权利要求书2页 说明书9页 附图2页 CN 114913461 A 2022.08.16 CN 114913461 A 1.一种情绪识别方法， 其特 征在于， 包括： 基于输入的连续帧视频序列， 提取每一帧图像的人脸区域作为训练样本； 将训练样本 输入三维卷积神经网络模型， 获取每 个视频帧序列的全局特 征图； 对全局特征图进行分块， 将生成的局部特征图与全局特征图作为特征分块， 提取每个 特征分块的一维特 征； 将一维特征输入三维卷积神经网络模型， 输出初始预测情绪分数， 并确定每个特征分 块的初始权 重， 根据每 个特征分块的初始权 重确定对应的目标权 重； 利用目标权 重对初始预测情绪分数进行加权， 生成目标 预测情绪分数。 2.根据权利要求1所述的情绪识别方法， 其特征在于， 在所述提取每一帧图像的人脸 区 域作为训练样本之前， 包括： 提取每一帧图像的人脸区域， 得到对应的矩形框坐标及置信度： Bi,PRi＝YOLO(framet)； 式中， framet代表第t帧视频帧， Bi代表该视频帧中标定第i个人脸的矩形框的左上角及 右下角坐标， PRi代表第i个人脸的置信度； 获取每一帧图像中置信度最高的矩形框区域， 利用双线性插值将所有矩形框区域处理 为同一大小。 3.根据权利要求2所述的情绪识别方法， 其特征在于， 所述提取每一帧图像的人脸区 域， 包括： 利用经过WIDER Face数据集预训练过的YOLOv3模型提取每一帧图像的人脸区域。 4.根据权利要求1所述的情绪识别方法， 其特征在于， 所述提取每个特征分块的一维特 征， 包括： 利用一维卷积神经网络模型提取每 个特征分块的一维特 征。 5.根据权利要求1所述的情绪识别方法， 其特征在于， 所述确定每个特征分块的初始权 重， 包括： 确定每个特征分块的损失函数， 计算总的损失函数： 设置总的损 失函数阈值， 利用训练样本对三维卷积神经网络模型训练至模型收敛， 确 定此时每 个特征分块的初始权 重。 6.根据权利要求5所述的情绪识别方法， 其特征在于， 所述每个特征分块的初始权重 为： 式中， li为第i个特 征分块的损失函数， w1i为第i个特 征分块的权 重。 7.根据权利要求6所述的情绪识别方法， 其特征在于， 所述根据每个特征分块的初始权 重确定对应的目标权 重， 包括： 基于每个特征分块的一维特征， 利用k ‑means算法确定每个特征分块的一维特征的数 据分布中心； 定义每个特征分块与数据分布中心的欧式距离为权 重w2i； 确定每个特征分块的目标权 重为wi＝w1i×w2i。权　利　要　求　书 1/2 页 2 CN 114913461 A 28.一种情绪识别装置， 其特 征在于， 包括： 训练样本获取单元， 用于基于输入的连续帧视频序列， 提取每一帧图像的人脸区域作 为训练样本； 全局特征图获取单元， 用于将训练样本输入三维卷积神经网络模型， 获取每个视频帧 序列的全局特 征图； 特征图分块单元， 用于对全局特征图进行分块， 将生成的局部特征图与全局特征图作 为特征分块， 提取每 个特征分块的一维特 征； 目标权重计算单元， 用于将一维特征输入三维卷积神经网络模型， 输出初始预测情绪 分数， 并确定每个特征分块的初始权重， 根据每个特征分块的初始权重确定对应的目标权 重； 情绪识别单元， 用于利用目标权重对初始预测情绪分数进行加权， 生成目标预测情绪 分数。 9.一种终端设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 与所述处 理器耦接， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7任一项所述的情绪识别方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7任一项所述的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 114913461 A 3