(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211076762.0 (22)申请日 2022.09.05 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 许意道　汪文锋　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 王首峰　任默闻 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/16(2022.01) (54)发明名称 基于表情情绪识别的用户交 互方法及装置 (57)摘要 一种基于表情情绪识别的用户交互方法及 装置， 涉及人工智 能领域， 可应用于金融领域和 其他领域， 所述方法包含： 获取用户身份信息， 根 据用户身份信息获取预存的用户偏好信息并按 预设第一周期采集用户身份信息对应用户的第 一人脸图像信息； 根据第一人脸图像信息通过表 情识别获得多个表情特征数据， 根据表情特征数 据汇总获得用户的情绪数据； 通过预设量化规则 分析情绪数据获得第一分级结果， 根据第一分级 结果和用户偏好信息获得对应的处理策略； 根据 处理策略与对应用户进行交互处理， 并监测预设 第一周期内用户的第二人脸图像信息， 通过第二 人脸图像信息分析获得第二分级结果； 通过第一 分级结果和第二分级结果的比较结果获得用户 交互结果。 权利要求书2页 说明书8页 附图5页 CN 115439807 A 2022.12.06 CN 115439807 A 1.一种基于表情 情绪识别的用户交 互方法， 其特 征在于， 所述方法包 含： 获取用户身份信 息， 根据所述用户身份信 息获取预存的用户偏好信 息并按预设第 一周 期采集所述用户身份信息对应用户的第一人脸图像信息； 根据所述第 一人脸图像信 息通过表情识别获得多个表情特征数据， 根据 所述表情特征 数据汇总获得用户的情绪数据； 通过预设量化规则分析所述情绪数据获得第 一分级结果， 根据 所述第一分级结果和所 述用户偏好信息获得对应的处 理策略； 根据所述处理策略与对应用户进行交互处理， 并监测预设第 一周期内用户的第 二人脸 图像信息， 通过第二人脸图像信息分析获得第二分级结果； 通过所述第一分级结果和所述第二分级结果的比较结果获得用户交 互结果。 2.根据权利要求1所述的基于表情情绪识别的用户交互方法， 其特征在于， 获取用户身 份信息包 含： 通过生物 识别技术采集用户的生物特 征信息； 根据所述生物特征信息通过特征匹配预设数据库中的生物特征获得用户对应的用户 身份信息 。 3.根据权利要求1所述的基于表情情绪识别的用户交互方法， 其特征在于， 根据 所述表 情特征数据汇总获得用户的情绪数据包 含： 根据所述第一人脸图像信息的采集时间对所述表情特 征数据进行排序获得时序信息； 根据所述表情特征数据通过表情识别获得数字化表情信 息， 通过所述数字化表情信 息 和所述时序信息分析获得用户的表情变化数据； 根据所述表情变化数据获得用户的情绪数据。 4.根据权利要求1所述的基于表情情绪识别的用户交互方法， 其特征在于， 通过预设量 化规则分析 所述情绪数据获得第一分级结果包 含： 将所述情绪数据与 预设量化规则中的多个 阈值分别比较， 根据比较结果所述情绪数据 对应的量 化级别； 根据所述量化级别于预设量化规则中提取对应的应对策略模板， 并获得第一分级结 果。 5.根据权利要求4所述的基于表情情绪识别的用户交互方法， 其特征在于， 根据 所述第 一分级结果和所述用户偏好信息获得对应的处 理策略包 含： 根据所述第一分级结果中的所述应对策略模板于所述用户偏好信息中提取对应的偏 好参数； 根据所述偏好 参数和所述应对策略模板生成对应的处 理策略。 6.根据权利要求4所述的基于表情情绪识别的用户交互方法， 其特征在于， 根据 所述第 一分级结果和所述用户偏好信息获得对应的处 理策略还 包含： 当所述情绪数据高于多个阈值中的标定阈值时生成告警提 示信息； 将所述告警提 示信息提供至预定位置； 其中所述标定阈值大于多个阈值中的其 他阈值。 7.根据权利要求4所述的基于表情情绪识别的用户交互方法， 其特征在于， 根据 所述第 一分级结果和所述用户偏好信息获得对应的处 理策略还 包含：权　利　要　求　书 1/2 页 2 CN 115439807 A 2当预设第二周期内， 任一用户生成第一分级结果的频率高于预设值时， 生成告警提示 信息， 并将所述告警提 示信息提供至预定位置 。 8.根据权利要求1所述的基于表情情绪识别的用户交互方法， 其特征在于， 通过所述第 一分级结果和所述第二分级结果的比较结果获得用户交 互结果包 含： 当所述第一分级结果高于所述第二分级结果时生成用户交 互结果； 当所述第一分级结果等于或小于所述第 二分级结果 时生成告警提示信 息， 并将所述告 警提示信息提供至预定位置 。 9.一种基于表情情绪识别的用户交互装置， 其特征在于， 所述装置包含信息采集模块 和系统数据处 理模块； 所述信息采集模块用于获取用户身份信 息， 以及按预设第 一周期采集所述用户身份信 息对应用户的第一人脸图像信息和监测预设第一周期内用户的第二人脸图像信息； 所述系统数据处理模块用于根据所述用户身份信 息获取预存的用户偏好信 息； 根据所 述第一人脸图像信息通过表情识别获得多个表情特征数据， 根据所述表情特征数据汇总获 得用户的情绪数据； 通过预设量化规则 分析所述情绪数据获得第一分级结果， 根据所述第 一分级结果和所述用户偏好信息获得对应的处理策略； 根据所述处理策略与对应用户进 行 交互处理， 通过第二人脸图像信息分析获得第二分级结果； 通过所述第一分级结果和所述 第二分级结果的比较结果获得用户交 互结果。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特 征在于， 所述处 理器执行所述计算机程序时实现权利要求1至8任一所述方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有由计算机 执行权利要求1至8任一所述方法的计算机程序。 12.一种计算机程序产品， 包括计算机程序/指令， 其特征在于， 该计算机程序/指令被 处理器执行时实现权利要求1至8任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115439807 A 3