(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210211180.2 (22)申请日 2022.03.03 (71)申请人 网易 （杭州） 网络有限公司 地址 310056 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 张唯　陈柯宇　丁彧　李林橙　 王苏振　吕唐杰　范长杰　胡志鹏　 (74)专利代理 机构 北京元合联合知识产权代理 事务所 (特殊普通合伙) 11653 专利代理师 李非非 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 情绪识别模 型的生成方法、 识别方法、 装置、 介质和设备 (57)摘要 本申请提供了一种情绪识别模型的生成方 法， 该方法包括： 将情绪识别训练数输入情绪识 别特征提取器进行处理以得到第一表情编码向 量； 将第一表情编码向量输入特征学习分支网络 得到表情表征向量； 将第一表情编码向量输入分 类学习分支网络得到情绪分类结果； 根据表情表 征向量、 情绪分类结果、 情绪标签、 以及预设的损 失函数获得损失值， 并根据损失值调整情绪识别 特征提取器以及特征学习分支网络和分类学习 分支网络的参数； 当预设的损失函数达到设定收 敛条件时， 保留情绪识别特征提取器和分类学习 分支网络得到第一情绪识别模型。 相应地， 本申 请还提供了与所述情绪识别模型的生成方法相 关的介质和设备， 以及情绪识别方法及相关的介 质和设备。 权利要求书2页 说明书11页 附图7页 CN 114565964 A 2022.05.31 CN 114565964 A 1.一种情绪识别模型的生成方法， 其特 征在于， 所述方法包括： 获取情绪识别训练数据， 并将所述情绪识别训练数据输入情绪识别特征提取器进行处 理以得到第一表情编码向量， 所述情绪识别特征提取器利用预训练的表情编码模型构建， 所述表情编 码模型用于生成第二表情编 码向量， 所述第一表情编 码向量的维度高于所述第 二表情编码向量的维度， 所述情绪识别训练数据包括表情图像和对应的情绪标签； 将所述第一表情编码向量输入特 征学习分支网络进行处 理， 得到表情表征向量； 将所述第一表情编码向量输入分类学习分支网络进行处 理， 得到情绪分类结果； 根据所述表情表征向量、 所述情绪分类结果、 所述情绪标签、 以及预设的损失函数获得 损失值， 并根据所述损失值调整 所述情绪识别特征提取器以及所述特征学习分支网络和分 类学习分支网络的参数； 当所述预设的损 失函数达到设定收敛条件时， 根据所述情绪识别特征提取器、 所述特 征学习分支网络和所述分类学习分支网络得到第一情绪识别模型。 2.根据权利要求1所述的情绪识别模型的生成方法， 其中， 所述方法还 包括： 利用多条表情多元组训练数据对初始表情编码模型进行迭代训练得到所述预训练的 表情编码模型， 每条所述表情多元组训练数据包括 目标表情样本图像， 与所述目标表情样 本图像相似的正表情图像， 与所述目标表情 样本图像不相似的负表情 样本图像； 截取所述预训练的表情编码模型中设定数量的网络层作为所述情绪识别特 征提取器。 3.根据权利要求1所述的情绪识别模型的生成方法， 所述预设的损失函数包括用于特 征学习分支网络的第一损失函数和用于 分类学习分支网络的第二损失函数， 所述第一损失 函数采用对比损失函数， 所述第二损失函数采用交叉熵损失函数。 4.根据权利要求3所述的情绪识别模型的生成方法， 其中， 所述预设的损失函数还包括 第一损失函数的第一权重和第二损失函数的第二权重， 在所述特征学习分支网络的迭代 过 程中， 所述第一权 重逐渐减小。 5.根据权利要求1 ‑4中的任一项所述的情绪识别模型的生成方法， 所述获取情绪识别 训练数据包括： 获取初始情绪识别训练数据； 对所述初始情绪识别训练数据进行均衡处 理， 获得均衡处 理后的情绪识别训练数据。 6.根据权利要求1所述的情绪识别模型的生成方法， 所述根据所述情绪识别特征提取 器、 所述特 征学习分支网络和所述分类学习分支网络得到第一情绪识别模型， 包括： 丢弃所述特征学习分支网络， 根据保留的所述情绪识别特征提取器和所述分类学习分 支网络得到第一情绪识别模型。 7.根据权利要求1 ‑4中的任一项所述的情绪识别模型的生成方法， 其中， 该方法还包 括： 构建轻量化情绪识别模型， 并以所述第一情绪识别模型为教师模型， 以所述轻量化情 绪识别模型为学生模型通过知识蒸馏对所述轻量化情绪识别模型进行迭代训练， 以得到第 二情绪识别模型。 8.根据权利要求7 所述的情绪识别模型的生成方法， 其中： 在对所述轻量化情绪识别模型进行迭代训练时采用交叉熵损失函数和软目标损失函 数计算损失值。权　利　要　求　书 1/2 页 2 CN 114565964 A 29.一种情绪识别方法， 该 方法包括： 获取待进行情绪识别的目标图像； 利用权利要求1 ‑6中的任一项所述的情绪模型的生成方法得到第一情绪识别模型对所 述目标图像进 行情绪识别， 或者利用权利要求7或8所述的情绪识别模型的生成方法得到的 第二情绪识别模型对所述目标图像进行情绪识别。 10.一种情绪识别模型的形成装置， 该装置包括： 第一输入模块， 用于获取情绪识别训练数据， 并将所述情绪识别训练数输入情绪识别 特征提取器进 行处理以得到第一表情编 码向量， 所述情绪识别特征提取器利用预训练的表 情编码模型构建， 所述表情编码模型用于生成第二表情编码向量， 所述第一表情编码向量 的维度高于所述第二表情编 码向量的维度， 所述情绪识别训练数据包括表情图像和对应的 情绪标签； 第二输入模块， 用于将所述第一表情编码向量输入特征学习分支网络进行处理， 得到 表情表征向量； 第三输入模块， 用于将所述第一表情编码向量输入分类学习分支网络进行处理， 得到 情绪分类结果； 参数调整模块， 用于根据所述表情表征向量、 所述情绪分类结果、 所述情绪标签、 以及 预设的损失函数获得损失值， 并根据所述损失值调整 所述情绪识别特征提取器以及所述特 征学习分支网络和分类学习分支网络的参数； 模型获得模块， 用于当所述预设的损 失函数达到设定收敛条件时， 根据所述情绪识别 特征提取器、 所述特 征学习分支网络和所述分类学习分支网络得到第一情绪识别模型。 11.一种情绪识别装置， 该装置包括： 目标获取模块， 用于获取待 进行情绪识别的目标图像； 情绪识别模块， 用于利用权利要求1 ‑6中的任一项所述的情绪模型的生成方法得到第 一情绪识别模型对所述目标图像进行情绪识别， 或者利用权利要求7或8所述的情绪识别模 型的生成方法得到的第二情绪识别模型对所述目标图像进行情绪识别。 12.一个或多个存储计算机可执行指令的计算机可读介质， 所述指令在由一个或多个 计算机设备使用时使得一个或多个计算机设备执行如权利要求1至8 中任一项所述的情绪 识别模型的生成方法或权利要求9所述的情绪识别方法。 13.一种计算机设备， 所述计算机设备包括存 储器和处 理器， 其中： 所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 至8中任一项所述的情绪识别模型的生成方法或权利要求9所述的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 114565964 A 3