(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210411329.1 (22)申请日 2022.04.19 (71)申请人 河南中原动力 智能制造有限公司 地址 450003 河南省郑州市金 水区宝瑞路 115号河南省信息安全产业示范基地 10号楼02号 (72)发明人 刘娜　袁野　张泽阳　赵帅康　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 李妙芬 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种机器人情感分析方法、 系统及机 器人 (57)摘要 本发明公开了一种机器人情感分析方法、 系 统及机器人， 该方法包括： 获取待分析的图像数 据； 根据加速后的图像识别模型， 对所述图像数 据的目标区域进行定位， 得到人体框； 将所述人 体框和所述图像数据输入至情感分析模型， 以使 所述情感分析模型对所述人体框和所述图像数 据进行融合计算， 得到第一情感分类结果； 其中， 所述情感分析模 型包括： 加速后的人体特征提取 模型、 加速后的场景特征提取模 型以及加速后的 融合分类模型； 根据所述第一情感分类结果， 控 制机器人的人机交互行为。 采用本发明实施例， 部署情感分析模型的机器人能够准确、 实时、 迅 速地识别出用户的情感信息， 让机器人能够更好 的理解人机交互中用户的对话意图， 让用户获得 更好的交流体验。 权利要求书3页 说明书10页 附图7页 CN 114842504 A 2022.08.02 CN 114842504 A 1.一种机器人情感分析 方法， 其特 征在于， 包括： 获取待分析的图像数据； 根据加速后的图像识别模型， 对所述图像数据的目标区域进行定位， 得到人体框； 将所述人体框和所述图像数据输入至情 感分析模型， 以使所述情感分析模型对所述人 体框和所述图像数据进行融合计算， 得到第一情感分类结果； 其中， 所述情感分析模型包 括： 加速后的人体特 征提取模型、 加速后的场景 特征提取模型以及加速后的融合分类模型； 根据所述第一情感分类结果， 控制机器人的人机交 互行为。 2.如权利要求1所述的一种机器人情感分析方法， 其特征在于， 在所获取待分析的图像 数据之前， 包括： 加载COCO数据集中的第一图片数据和第一标签数据， 并对所述第 一图片数据和第一标 签数据进行归一化； 初始化YOLOv3模型的第一主干网络、 特征金字塔网络以及第一全连接 网络， 得到初始化的YOLOv3模型； 输入所述第一图片数据至所述初始化的YOLOv3模型， 得到三维张量嵌入； 根据所述第 一标签和所述三维张量嵌入选用第 一损失函数计算损失， 通过反向传播求 解得到第一 参数梯度； 根据第一参数梯度调整参数， 直到所述初始化的YOLOv3模型收敛， 获得所述图像识别 模型。 3.如权利要求1所述的一种机器人情感分析方法， 其特征在于， 在所述获取待分析的图 像数据之前， 还 包括： 加载EMOTIC数据集中的第二图片数据和第二标签数据， 加载人体特征提取模型和场景 特征提取模型， 并对所述第二图片数据和第二标签数据进 行归一化， 初始 化基线CNN模型的 第二主干网络、 第二全 连接网络； 其中， 采用ImageNet数据集预训练的第一resnet50模 型作 为人体特 征提取模型， 采用places3 65预训练的第二resnet5 0模型作为场景 特征提取模型； 所述人体特征提取模型提取所述第 二图片数据的第 二人体特征， 所述场景特征提取模 型提取所述第二图片数据的第二场景特征， 所述基线CNN模型融合所述人体特征和所述场 景特征， 得到第二情感分类结果； 其中， 所述第二情感分类结果包含第二连续情感分类结果 和第二离 散情感分类结果； 根据所述第二标签数据和所述第二离散情感分类结果采用加权平方误差损失函数计 算损失， 通过反向传播求解得到第二参数梯度； 根据所述第二标签数据和所述第二连续情 感分类结果采用L1损失函数计算损失， 通过反向传播 求解得到第三 参数梯度； 根据所述第 二参数梯度和所述第三参数梯度调整参数， 直到所述基线CNN模型收敛， 获 得所述融合分类模型。 4.如权利要求1 ‑3任一项所述的一种机器人情感分析方法， 其特征在于， 所述加速后的 图像识别模型、 加速后的人体特征提取模型、 加速后的场景特征提取模型以及加速后的融 合分类模型， 具体为： 确认储存所述图像识别模型、 所述人体特征提取模型、 所述场景特征提取模型以及所 述融合分类模型的机器人主机的CUDA版本， 加载与CUDA版本对应的tensorRT优化器； 转换所述图像识别模型至ONNX格式的图像识别模型； 转换所述人体特征提取模型至 ONNX格式的人体特征提取模 型； 转换所述场景特征提取模 型至ONNX格式的场景特征提取模权　利　要　求　书 1/3 页 2 CN 114842504 A 2型； 转换所述融合分类模型至ON NX格式的融合分类模型； 转换所述ONNX格式的图像识别模型至tensor RT格式的图像识别模型； 转换所述ONNX格 式的人体特征提取模 型至tensorRT格式的人体特征提取模 型； 转换所述ONNX格式的场景特 征提取模型至tensorRT格式的场景特征提取模型； 转换所述ONNX格式的融合分类模型至 tensorRT格式的融合分类模型； 反序列化所述tensorRT格式的图像识别模型、 所述tensorRT格式的人体特征提取模 型、 所述tensorRT格式的场景特征提取模型以及所述tensorRT格式的融合分类模型， 并创 建运行引擎； 得到加速后的图像识别模型、 加速后的人体特征提取模型、 加速后的场景特征提取模 型以及加速后的融合分类模型。 5.如权利要求1所述的一种机器人情感分析方法， 其特征在于， 所述根据加速后的图像 识别模型， 对所述图像数据的目标区域进行定位， 得到人体框， 具体为： 读取所述图像数据的视频帧； 将所述视频帧裁 剪为预设 分辨率的尺寸； 将裁剪后的所述视频帧输入至所述加速后的图像识别模型的主干网络中的backbone 模块， 经所述加速后的图像识别模型的特 征金字塔网络提取 特征； 根据所述特征输出人体区域的边界框坐标、 分数以及多个人体框， 并对多个所述人体 框执行非极大抑制操作后， 选取置信度最高的所述人体框 。 6.如权利要求1所述的一种机器人情感分析方法， 其特征在于， 所述将所述人体框和所 述图像数据输入至情感分析模型， 以使所述情感分析模型对所述人体框和所述图像数据进 行融合计算， 得到第一情感分类结果， 具体为： 输入所述人体框至所述加速后的人体特征提取模型， 并输入所述图像数据至所述场景 特征提取模型； 所述加速后的人体特征提取模型提取所述人体框的第 一人体特征， 所述场景特征提取 模型提取 所述图像数据的第一场景 特征； 所述加速后的融合分类模型融合所述第 一人体特征和所述第 一场景特征， 得到第 一情 感分类结果。 7.如权利要求1或6所述的一种机器人情感分析方法， 其特征在于， 所述第一情感分类 结果， 包括： 第一离 散情感分类结果和第一连续情感分类结果； 第一离散情感分类结果包括： 平和、 温柔、 期待、 尊重、 自信、 感兴趣、 高兴、 激动、 惊喜、 受挫、 有敌意、 嫉妒、 疲倦、 疼痛、 犹疑、 恐惧、 受伤、 忧虑、 烦恼、 生气、 厌恶、 悲伤、 无聊或尴尬 中的一种； 第一连续情感分类结果包括： 高兴程度、 激动程度以及控制程度， 其中， 每个第一连续 情感分类结果都取 预设范围内的整数值。 8.一种机器人情 感分析系统， 其特征在于， 包括： 图像采集模块、 第一控制模块、 第二控 制模块以及交 互功能模块； 所述图像采集模块用于获取待分析的图像数据； 所述第一控制模块用于根据加速后的图像识别模型， 对所述图像数据的目标区域进行 定位， 得到人体框；权　利　要　求　书 2/3 页 3 CN 114842504 A 3