(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210373538.1 (22)申请日 2022.04.11 (71)申请人 辽宁师范大学 地址 116000 辽宁省大连市沙河口区黄河 路850号 (72)发明人 傅博　毛圆鑫　傅士林　刘松泉　 任永功　 (74)专利代理 机构 大连非凡专利事务所 212 20 专利代理师 闪红霞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力遮挡机制的表情识别方法 (57)摘要 本发明公开一种基于注意力遮挡机制的表 情识别方法， 采用了训练 ‑微调的架构， 通过注意 力回馈‑遮挡模式实现对模型注意力的再训练。 在训练阶段， 基于模型在训练过程中不同特征向 量之间具有很强的关联性， 对网络处理后的特征 向量进行聚类同时使用记事本亲和字典缓存， 使 用记事本亲和损失和交叉熵损失去辅助训练表 情识别网络模型； 在微调阶段， 使用遮挡注意力 部分微调法去提升表情识别网络的性能。 本发明 加强了网络的泛化性， 克服了 现有技术所存在的 过拟合、 表情特征向量聚集、 遮挡图像识别失效 等问题， 使得表情识别具有更高的准确率。 权利要求书2页 说明书5页 附图1页 CN 114724219 A 2022.07.08 CN 114724219 A 1.一种基于注意力遮挡机制的表情识别方法， 是将待识别图像输入至经过微调训练 的 网络模型中进 行识别， 其特征在于所述经过微调训练的网络模型依次按照如下步骤构建而 成： 步骤1： 图像预处 理 将数据集图像分为训练集及测试集， 对训练集图像进行增广处 理， 得到增广训练集； 步骤2： 建立网络模型并初始化， 所述网络模型由四组交替设置的残差层和注意力层、 记事本亲和字典及全连接层构成； 步骤3： 将增广训练集图像Expres sion_ Patches输入至网络模型中进行训练 步骤3.1约定变量epoc h为网络模型循环训练次数， 初始为0； 步骤3.2将图像Expression_  Patches依次输入至四组交替设置的残差层和注意力层， 每组按照如下步骤进行： 步骤3.2.1输入图像进入残差层： 首先将图像依次通过一个3*3大小的滤波器卷积层 conv1、 批量归一化BN1、 激活层relu1、 3*3 大小的滤波器卷积层conv2、 批量归一化层BN2， 将 处理结果和图像数据做 残差连接， 最终过激活层relu2， 得到图像特 征向量I1； 步骤3.2.2输入图像特征向量I1进入注意力层： 首先将图像特征向量I1通过通道注意模 块， 得到图像特征向量I2， 然后将图像特征向量I2与图像特征向量I1做残差连接后过激活函 数层relu 3， 得到图像特征向量I3， 再将图像特征向量I3通过空间注意模块， 得到图像特征向 量I4， 将图像特征向量I4与图像特征向量I3做残差连接后， 过激活函数层relu4， 得到图像特 征向量I5； 步骤3.3输入各层网络得到的图像特征向量进入全连接层， 得到分类类别， 所述分类类 别用数字表示； 步骤3.4将步骤3.2所得到的图像特征向量保存至记事本亲和字典中， 计算所有图像特 征向量维度之间的记事本亲和损失， 并将记事本亲和损失除以图像特征向量之间的方差， 其商记为 la； 步骤3.5采用L1  Loss计算方法求取全连接层的输出结果和数据集相应标签的交叉熵 损失lc， 置epoch  =epoch +1， 当epoch  达到设定次数， 网络停止训练， 保存训练模型 model.pt文件并进入步骤4， 否则将loss=lc+la值反向传播， 通过ADAM优化算法更新参数， 进入步骤3.1， 循环重复训练； 步骤4： 将增广训练集图像Expression_  Patches输入至训练模型model.pt中， 得到生 成注意力部分图像并对生成的注意力部分进行遮挡处理， 形成遮挡注意力部分图像， 以遮 挡注意力部分图像及相应标签形成新的数据对， 构成新的训练集； 步骤5： 将新的训练集图像输入至网络模型中进行训练 步骤5.1约定变量epoc h为网络模型Model循环训练的次数， 初始为0； 步骤5.2 将新的训练集图像依次输入至四组交替设置的残差层和注意力层， 每组按照 如下步骤进行： 步骤5.3.1输入图像进入残差层： 首先将图像依次通过一个3*3大小的滤波器卷积层 conv1、 批量归一化BN1、 激活层relu1、 3*3 大小的滤波器卷积层conv2、 批量归一化层BN2， 将 处理结果和图像数据做 残差连接， 最终过激活层relu2， 得到图像特 征向量I1＇ ； 步骤5.3.2输入图像特征向量I1＇ 进入注意力层： 首先将图像特征向量I1＇ 通过通道注意权　利　要　求　书 1/2 页 2 CN 114724219 A 2模块， 得到图像特征向量I2＇ ， 然后将图像特征向量I2＇ 与图像特征向量I1＇ 做残差连接后过 激活函数层relu3， 得到图像特征向量I3＇ ， 再将图像特征向量I3＇ 通过空间注意模块， 得到图 像特征向量I4＇ ， 将图像特征向量I4与图像特征向量I3＇ 做残差连接后， 过激活函数层relu4， 得到图像特 征向量I5＇ ； 步骤5.3.3输入各层网络得到的图像特征向量进入全连接层， 得到最终分类类别 Classificati on， 所述最终分类 类别Clas sificati on用数字表示； 步骤5.4： 通过L1  Loss计算方法求取最终分类类别Classification和数据对中相应标 签的交叉熵损失CrossEntropyLoss， 记为loss， 置epoch  =epoch +1， 当epoch  达到设定次 数， 网络停止训练， 并保存训练模 型model.pt＇ 文件， 即得到经过微调训练的网络模 型， 否则 将loss值反向传播， 通过ADAM优化 算法更新 参数， 进入步骤5.1， 循环重复训练。权　利　要　求　书 2/2 页 3 CN 114724219 A 3