(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221071383 3.7 (22)申请日 2022.06.22 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 徐玲玲　李佼　盛建达　戴磊　 刘玉宇　 (74)专利代理 机构 深圳市赛恩倍吉知识产权代 理有限公司 4 4334 专利代理师 林丽纯　严林 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 表情识别方法、 装置、 设备及存 储介质 (57)摘要 本申请涉及人工智能， 提供一种表情识别方 法、 装置、 设备及存储介质。 该方法获取待识别的 表情视频、 训练数据及训练数据对应的标注类 别， 基于标注类别对训练数据进行扩增， 得到训 练表情视频， 对训练表情视频进行预处理， 得到 视频序列， 基于预设数量 从初始视频序列中选取 目标视频序列输入到预设的表情识别网络中， 得 到多个运动单元向量及表情特征向量， 基于标注 类别、 多个运动单元向量及表情特征向量计算表 情识别网络的预测损失值， 并基于预测损失值调 整表情识别网络， 得到表情识别模型， 将待识别 的表情视频输入到表情识别模型中， 得到识别结 果， 能够提高面部表情的识别准确性。 此外， 本申 请还涉及区块链技术， 所述识别结果可存储于区 块链中。 权利要求书3页 说明书17页 附图2页 CN 115205928 A 2022.10.18 CN 115205928 A 1.一种表情识别方法， 其特 征在于， 所述表情识别方法包括： 获取待识别的表情视频、 训练数据及所述训练数据对应的标注类别； 基于所述标注类别对所述训练数据进行扩增， 得到每个标注类别对应的训练表情视 频； 对所述训练表情视频进行 预处理， 得到初始视频序列； 基于预设数量从所述初始视频序列中选取目标视频序列输入到预设的表情识别网络 中， 得到多个运动单 元向量及表情特 征向量； 基于所述标注类别、 所述多个运动单元向量及所述表情特征向量计算所述表情识别网 络的预测损失值； 基于所述预测损失值， 调整所述表情识别网络， 得到表情识别模型； 将所述待识别的表情视频输入到所述表情识别模型中， 得到所述待识别的表情视频的 识别结果。 2.如权利要求1所述的表情识别方法， 其特征在于， 所述基于所述标注类别对所述训练 数据进行扩增， 得到每 个标注类别对应的训练表情视频包括： 统计每个标注类别对应的训练数据的训练数量， 并获取最大的训练数量； 基于所述最大的训练数量对所述训练数据进行扩增， 得到每个标注类别对应的训练表 情视频。 3.如权利要求1所述的表情识别方法， 其特征在于， 所述对所述训练表情视频进行预处 理， 得到初始视频序列， 包括： 对所述训练表情视频进行分帧处 理， 得到多帧表情图像； 基于预设帧数选取 连续的表情图像作为多个图像序列； 对每个图像序列的第 一帧表情图像进行关键点定位， 得到所述第 一帧表情图像中的表 情关键点； 根据多个所述表情关键点定位出 所述第一帧表情图像中的人脸 位置； 分割所述第 一帧表情图像中与所述人脸位置对应的矩形区域， 并基于预设尺寸对所述 矩形区域进行变换处 理， 得到所述第一帧表情图像对应的人脸图像； 根据所述人脸图像中的每个像素点在所述第一帧表情图像中的像素位置对所述图像 序列中其 余帧的表情图像进行映射处 理， 得到每帧表情图像对应的人脸图像； 将多帧所述人脸图像按照每帧人脸图像对应的表情图像在所述图像序列中的时间顺 序进行拼接， 得到所述初始视频序列。 4.如权利要求3所述的表情识别方法， 其特征在于， 所述基于预设数量从所述初始视频 序列中选取目标视频序列输入到预设的表情识别网络中， 得到多个运动单元向量及表情特 征向量， 包括： 根据每个标注类别对应的预设比例值构建预设比例关系； 根据所述预设比例关系及每个标注类别对应的训练表情视频的训练数量计算所述预 设数量， 并基于所述预设数量从所述初始视频序列中选取目标视频序列； 将所述目标视频序列输入到所述表情识别网络 中的主干网络进行特征提取， 得到主干 特征图； 检测所述标注类别中是否包括 运动单元；权　利　要　求　书 1/3 页 2 CN 115205928 A 2若所述标注类别包括运动单元， 则从所述主干特征图中检测出所述运动单元对应的运 动关键点， 基于所述运动关键点在所述主干特征图中的关键点位置选取局部区域， 并基于 所述表情识别网络中的第一分支网络对多个所述局部区域进 行特征提取， 得到第一预设维 度的多个特 征向量； 基于所述第 一预设维度将每个特征向量的维度调整为第 二预设维度， 得到所述多个运 动单元向量； 若所述标注类别包括表情， 则将所述主干特征图输入到所述表情识别网络 中的第二分 支网络进行 卷积运算， 得到所述表情特 征向量。 5.如权利要求4所述的表情识别方法， 其特征在于， 所述基于所述标注类别、 所述多个 运动单元向量及所述表情特 征向量计算所述表情识别网络的预测损失值， 包括： 将每个运动单元特征向量输入到所述第 一分支网络 中的全连接层， 得到每个运动单元 向量对应的运动全连接值； 将每个运动单元向量对应的运动全连接值输入到所述第 一分支网络 中的分类层， 得到 每个运动单 元向量对应的运动概 率值； 根据所述 运动概率值及预设阈值 生成每个运动单 元向量对应的运动预测值； 根据所述第一分支网络的批量大小、 所述多个运动单元向量的数量、 所述运动概率值 及所述运动预测值计算第一损失值； 根据所述表情特征向量、 所述第 二分支网络 中的全连接层及所述第 二分支网络 中的分 类层生成第二损失值； 将所述多个运动单 元向量沿着相同的维度进行拼接， 得到第一 拼接向量； 将所述第一拼接向量进行全连接处理， 并将全连接处理后 生成的第 二全连接向量进行 逆全连接处 理， 得到第二 拼接向量； 根据所述第 一分支网络的批量大小、 所述第 一拼接向量及所述第 二拼接向量生成第 三 损失值； 对所述表情特 征向量进行逆 全连接处 理及全连接处 理， 生成第四损失值； 根据所述标注类别、 所述第 一损失值、 所述第 二损失值、 所述第三损失值及所述第四损 失值生成所述预测损失值。 6.如权利要求5所述的表情识别方法， 其特征在于， 所述根据所述标注类别、 所述第一 损失值、 所述第二损失值、 所述第三损失值及所述第四损失值 生成所述预测损失值包括： 若所述标注类别仅包括所述运动单元， 则计算所述第二损 失值、 所述第三损 失值与所 述第四损失值的总和， 得到所述预测损失值； 或者 若所述标注类别仅包括表情， 则计算所述第一损 失值、 所述第三损 失值及所述第 四损 失值的总和， 得到所述预测损失值； 或者 若所述标注类别包括所述运动单元和所述表情， 则计算所述第一损 失值、 所述第二损 失值、 所述第三损失值及所述第四损失值的总和， 得到所述预测损失值。 7.如权利要求5所述的表情识别方法， 其特 征在于， 所述第一损失值的计算公式为： 其中， loss1表示所述第一损失值， K表示所述多个运动单元向量的数量， N表示所述第权　利　要　求　书 2/3 页 3 CN 115205928 A 3