(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210583163.1 (22)申请日 2022.05.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 李新德　胡川飞　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人-物时空交互行为的情感识别方 法 (57)摘要 本发明公开了一种基于人 ‑物时空交互行为 的情感识别方法， 其过程为： 采集人与物体交互 行为过程的视频数据； 对人、 物体的位置以及人 所表现的交互行为和情感进行数据标注； 构建基 于深度学习的特征提取模型， 抽取人与物体在时 空维度的交互行为特征， 并进行人 ‑物交互行为 的位置和类别检测； 通过词向量模型， 将检测得 到的交互行为类别映射为向量形式； 最后构建基 于深度学习的融合模型， 融合交互行为向量和时 空交互行为特征， 识别交互人所表现的情感。 本 发明采用了人与物体在时空中的交互信息， 对识 别目标情感提供了客观、 连续的判断依据， 避免 了情感识别结果受目标主观性和采集方式的影 响， 更准确地识别出目标的真实情感状态。 权利要求书2页 说明书4页 附图1页 CN 114926837 A 2022.08.19 CN 114926837 A 1.一种基于人 ‑物时空交互行为的情感识别方法， 其特 征在于， 具体包括以下步骤： 步骤S1： 采集人与物体交 互行为过程的视频 数据； 步骤S2： 对人、 物体的位置以及人 所表现的交 互行为和情感进行 数据标注； 步骤S3： 构建基于深度学习的特征提取模型， 抽取人与物体在时空维度的交互行为特 征， 并进行 人‑物交互行为的位置和类别检测； 步骤S4： 通过词向量模型， 将检测得到的交 互行为类别映射 为向量形式； 步骤S5： 构建基于深度学习的融合模型， 融合交互行为向量和时空交互行为特征， 识别 交互人所表现的情感。 2.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S1中的视频数据所涉及的采集场景包括居民住宅的卧室、 厨房、 卫生间、 书房以及 商场询问台、 购票处。 3.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S1中的交互行为是指人对物体的使用动作包括拿杯 子喝水、 翻阅书 籍、 接听电话、 操作电视遥控器、 操作电脑、 翻动床单、 握牙刷刷牙、 使用毛巾洗脸、 推/关房门、 推动购物 车、 扶握排队栏杆。 4.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S2中的数据标注涉及三个阶段， 首先采用目标检测网络生成视频数据中人和物体 的初始位置以及物体类别， 然后对生成的初始位置和类别进行人工校正， 对不准确的检测 结果进行修正， 得到准确的位置和类别信息， 最后对视频数据中人所表现的交互行为和情 感进行标注。 5.根据权利要求4所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述的人、 物体的位置是指包含人或物体的平行于视频图像的最小矩形框， 由矩形中心坐 标和长宽表示； 所述的交 互行为进行 标注指的是 标出交互类别和对应人、 物的位置； 所述的情感包括高兴、 沮丧、 焦躁、 愤怒、 惊喜、 恐惧、 兴奋以及中性； 所述的中性是指没有明显的情绪 流露。 6.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S3中的特征提取模型采用在通用数据集上预训练的目标检测网络， 在 采集的视频 数据上进行微调， 检测准确的人与交 互物体的位置以及交 互类别； 所述的微调是指在通用数据集预训练的基础上， 冻结网络的大部分可学习参数， 在训 练数据上只对网络的最后两层进行重新训练。 7.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S3中的时空维度是指一个固定时间长度的三 维张量， 包含一个时间维度和两个空 间维度； 所述的时间长度是由视频帧的数量进行定义。 8.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S5中的融合交 互行为向量是指步骤S4中向量形式的交 互行为。 9.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S5中的时空 交互行为特 征是指步骤S3中人与物体在时空维度的交 互行为特 征。权　利　要　求　书 1/2 页 2 CN 114926837 A 210.根据权利要求1所述的一种基于人 ‑物时空交互行为的情感识别方法， 其特征在于， 所述步骤S5中的识别交 互人所表现的情感是对融合模型输出后的融合特 征进行分类。权　利　要　求　书 2/2 页 3 CN 114926837 A 3