(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210598202.5 (22)申请日 2022.05.30 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 李春国　吴宇凡　李武斌　罗顺　 陆敬奔　杨绿溪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 秦秋星 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/24(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/77(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于空间注意力和深度神经网络的人脸表 情识别方法 (57)摘要 本发明公开了一种基于空间注意力和深度 神经网络的人脸表情识别方法， 可用于实现对人 脸面部表情的实时检测。 该发明主要包括： 获取 人脸表情数据集， 按一定比例划分为训练集、 验 证集、 测试集后， 提取出图像中的人脸部分， 并进 行旋转、 水平翻转、 裁剪、 色彩抖动等数据增强操 作； 训练表情分类网络， 使用基于逆向残差层与 的卷积神经网络提取图像特征后， 通过空间注意 力机制对图像各区域的重要性进行区分， 并基于 得到的特征对 人脸图像进行表情分类； 在人脸表 情分类数据集上评估网络的识别效果。 本发明相 比于当前主要的人脸面部表情分类算法， 获得了 更高的平均分类准确率， 且算法实时性高， 是一 种高质量的人脸 面部表情识别算法。 权利要求书1页 说明书5页 附图3页 CN 115171180 A 2022.10.11 CN 115171180 A 1.一种基于空间注意力和深度神经网络的人脸表情识别方法， 其特征在于， 该方法包 括如下步骤： 步骤S1： 根据公开的人脸表情数据集， 构建训练集、 验证集和测试集； 通过预处理提取 出图像中的人脸部分， 并进行旋转、 水平翻转、 裁 剪、 色彩抖动数据增强操作； 步骤S2： 构建基于逆向残差层和空间注意力机制的人脸表情分类识别网络； 利用所构 建的训练集对网络模 型进行监督训练， 直到网络收敛到最优性能； 在训练的过程中， 用验证 集来反应训练过程； 步骤S3： 将收敛的网络模型在所构建的测试集上进行测试， 根据总体分类准确率、 平均 分类准确率和分类混淆矩阵评估网络性能。 2.根据权利要求1所述一种基于空间注意力和深度神经网络的人脸表情识别方法， 其 特征在于， 所述步骤S1中人脸表情数据集中的每一条数据以数据对的形式给出， 包含一张 待分类的RGB图像作为输入数据以及标注的表情类别作为真实值。 3.根据权利要求1所述一种基于空间注意力和深度神经网络的人脸表情识别方法， 其 特征在于， 所述步骤S1中预 处理包括： 首先提取出输入的待分类的RGB人脸图像中的人脸轮 廓； 随后从原始图像中将人脸部分分割 出来， 并将分割后得到的图像像素做双线性插值处 理； 最后进行数据增强处理， 增强手段包含： 随机旋转、 随机裁剪、 水平翻转、 随机修改RGB图 像的饱和度、 色调、 随机添加高斯噪声， 最后对RGB图像进行 标准化。 4.根据权利要求1所述一种基于空间注意力和深度神经网络的人脸表情识别方法， 其 特征在于， 所述分类识别网络包括： a)图像特征提取模块： 其输入为预处理后的人脸图像， 该模块以逆向残差层为基础架 构， 在处理图像特征时首先通过扩张层将输入维度增高， 随后利用深度可分离卷积充分提 取特征信息， 最后通过投影层将提取到的特征从高维度 空间映射回低 维度， 从而减少后续 计算量； b)空间注意力机制： 其输入为图像特征提取模块的输出特征， 该部分利用图像空间位 置上的相关性， 自适应地判断图像中各个区域的重要程度， 并对其分配不同的权值， 从而获 得在空间维度上 更有价值的信息， 从而提取 更有效的空间特 征； c)Focal loss损失函数： 所述网络模型采用Focal  loss作为训练时的损失函数， 通过 对难分类类别添加动态调整因子与样本平衡因子， 提高网络模型在样本数量较少的类别的 分类准确率， 从而提高网络模型的平均分类准确率。 5.根据权利要求4所述一种基于空间注意力和深度神经网络的人脸表情识别方法， 其 特征在于， 所述Focal  loss具体为： 多分类任务场景 下的Focal  loss表示为 上式中， p(i)为 真实的样本类别分布， q(i)为预测出的样本类别分布， αk为类别k的样本 平衡因子， αk设置得越 大则该类别在最 终损失中的权重越 大； γk为类别k动态调整因子， γk 设置得越大则该类别在最终损失中的权 重越大。权　利　要　求　书 1/1 页 2 CN 115171180 A 2基于空间注意力和深度神经 网络的人脸表情识别方 法 技术领域 [0001]本发明涉及 一种基于空间注意力和深度神经网络的人脸表情识别方法， 适用于计 算机视觉中的人脸表情识别技 术领域。 背景技术 [0002]人脸表情分析作为计算机视觉领域中的热门研究课题 之一， 其目的是根据输入的 人脸图像， 判断人脸所处表情 状态。 人脸表情分析应用场景非常广泛， 对提高人类生活质量 具有显著效果， 极具研究价值。 具体应用领域包括但不限于： 在车辆驾驶场景中， 根据机动 车驾驶人的面部表情分析是否为疲劳驾驶、 酒后驾驶， 提前进 行预警； 在社会公共区域场景 中， 对多目标进行实时表情分析， 及时识别潜在危险； 在日常生活场景中， 对周围人进行面 部表情分析， 帮助残疾人理解 其他人的情感状态， 为 其交流沟通 提供便利。 [0003]随着技术的发展， 人们越来越多地尝试利用机器视觉、 图像处理技术实现自动化 的人脸表情识别。 近年来， 深度学习算法由于其强大 的学习能力以及适应能力被广泛地应 用于自然语 言处理、 数据挖掘、 图像处理等各个领域。 一些基于卷积神经网络的方法也被引 入到人脸表情分析领域， 包括VGG ‑16、 Inception ‑V3、 ResNet ‑50等。 得益于 卷积神经网络的 局部连接和权重共享机制， 人脸图像处理的参数和计算量大大降低， 且表情识别的准确 率 相比传统方法也有显著 提升。 虽然基于深度学习的人脸表情分析方法已经取得了很好的结 果， 但是目前的方法还存在着一些问题， 包括： 一味地堆积卷积层将导致模型复杂度较高， 无法满足在实际使用场景中的实时性需求； 在现有的公开表情数据集中， 各个类别的表情 往往分布不均， 且有些表情分类较为困难， 在这类表情类别上的低准确 率导致网络的平均 准确率指标较低， 限制了网络的整体性能。 [0004]因此开展基于空间注意力特 征的算法研究具有重要的意 义。 发明内容 [0005]本发明提出了一种基于空间注意力和深度神经网络的人脸表情识别方法。 本发明 中的网络模型采用基于逆向残差层的网络结构进 行图像特征提取， 并采用空间注意力机制 对影响面部表情分类的重要区域投以更高关注度， 同时采用Focal  loss作为损失函数， 提 高了网络对于难分类类别的学习效果。 本发明中的网络模型在训练结束后识别性能较好， 相比于现有算法IACNN(Identity ‑aware Convolution al Neural Network)等拥有更高的 识别率， 说明本发明有效提高了人脸识别表情的准确度。 [0006]为了实现上述目的， 本发明提供如下技 术方案： [0007]一种基于空间注意力和深度神经网络的人脸表情识别方法， 该方法包括如下步 骤： [0008]步骤S1： 根据公开的人脸表情数据集， 构建训练集、 验证集和测试集； 通过预处理 提取出图像中的人脸部分， 并进行旋转、 水平翻转、 裁 剪、 色彩抖动等数据增强操作； [0009]步骤S2： 构建基于逆向残差层和空间注意力机制的人脸表情分类识别网络； 利用说　明　书 1/5 页 3 CN 115171180 A 3