(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210316396.5 (22)申请日 2022.03.28 (71)申请人 西南交通大 学 地址 610031 四川省成 都市二环路北一段 申请人 四川八维九章科技有限公司 (72)发明人 苟先太　程丽红　蒋晓凤　曾开心　 魏峰　顾凡　周晨晨　苟瀚文　 姚一可　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 杨浩林 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06N 5/04(2006.01) (54)发明名称 基于目标检测网络与知识推理的人员行为 意图识别方法 (57)摘要 本发明公开了一种基于目标检测网络与知 识推理的人员行为意图识别方法， 将知识图谱和 知识推理技术应用到人员行为意图识别中， 通过 知识推理挖掘场景图像中的隐含信息， 进而获取 人员的行为意图， 利用人体关键点检测模型对人 体特征信息参量进行分析计算， 获得推理人员行 为意图的条件。 本发明可以对老人行为意图和需 求做出判断， 了解老人是否做到其想做的事， 进 一步还可以统计 老人一天所做之事， 便于对老人 的行动或其 他方面进行针对性关照。 权利要求书3页 说明书7页 附图1页 CN 114724078 A 2022.07.08 CN 114724078 A 1.一种基于目标检测网络与知识推理的人员行为意图识别方法， 其特征在于， 包括以 下步骤： S1、 以三元组的形式构建面向人员生活场景的知识图谱； S2、 采集视频 数据并进行 预处理， 得到预处 理后的数据； S3、 将预处理后的数据输入至目标检测模型， 获取预处理后的数据中的各类实体； 各类 实体包括人体和物体； S4、 根据人体和物体的位置区域特征构建关系特征， 根据关系特征采用高斯混合模型 得出物体与人体的位置关系； 其中位置关系包括 “在手中”、“从属关系 ”和“距离小于阈值 ”； S5、 将物体、 人体和对应的位置关系构成三元组， 将三元组输入知识图谱， 得到初步确 定的场景； S6、 通过人体关键点检测模型获取 预处理后的数据中人体关键点特 征信息； S7、 基于人体关键点特征信息对初步确定的场景进行推理， 输出符合人体关键点特征 信息的场景， 并将输出的场景作为人员行为 意图。 2.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S1的具体方法为： 以“人‑物‑行为”构建三元组， 以三元组为核心进行本体建模， 搭建面向人员的生活场 景的图谱基础架构； 定义面向人员生活场景的物体概念， 选取物体的视觉属性概念， 明确物 体间的相对位置 关系， 通过常识、 场景图像和/或常用语义对图谱基础架构进 行对象信息扩 展， 得到面向人员生活场景的知识图谱。 3.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S2中预处 理的具体方法为： 将视频数据处理成帧图像， 并对帧图像进行去噪和压缩。 4.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S3的具体方法为： 采用Mask  R‑CNN模型作为目标检测模型， 将预处理后的数据输入至Mask  R‑CNN模型 中， 获取Mask  R‑CNN模型输出的各类实体。 5.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S4的具体方法包括以下子步骤： S4‑1、 获取实体 λi的区域坐标(xi,yi)、 宽度wi和高度hi， 采用公式： 构建实体λi与人手λj的关系特征f( λi, λj)； 其中areai表示实体λi的面积； (xj,yj)、 wj、 hj 和areaj分别为人手λj的区域坐标、 宽度、 高度和面积； 实体包括水杯、 书本、 手机、 烟、 笔、 筷 子、 菜刀、 饭碗、 扫帚、 拖 把、 跳绳和牙刷； S4‑2、 将关系特征f( λi, λj)输入高斯混合模型， 获取实体λi与人手λj之间条件概率值最 大的位置关系， 并将其作为物体与人体的位置关系。 6.根据权利要求5所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S4 ‑2的具体方法包括以下子步骤：权　利　要　求　书 1/3 页 2 CN 114724078 A 2S4‑2‑1、 初始化高斯混合模型参数； S4‑2‑2、 基于当前参数， 根据公式： 计算观测数据n来自子模型k的概率γjk； 其中N表示观测数据的总数； K表示高斯混合模 型中子模型的总数； αk为观测数据属于子模型k的概率； φ(xn|θk)为子模型k的高斯分布密 度函数， μk为子模型的数据期望， σk为子模型的数据方差； xn表示观测数据n； S4‑2‑3、 根据公式： 更新参数 μk、 αk和∑k； 其中(·)T表示转置； S4‑2‑4、 判断当前参数μk、 αk和∑k是否均收敛， 若是则进入步骤S4 ‑2‑5； 否则返回步骤 S4‑2‑2； S4‑2‑5、 根据公式： 获取实体 λi与实体 λj的关系特 征f( λi, λj)的概率分布， 并得到概 率值最大的位置关系。 7.根据权利要求5所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S6中人体关键点特 征信息包括： 人体关键点及其对应的坐标数据， 人体关键点包括： 鼻子、 脖子、 右肩、 右肘、 右腕、 左 肩、 左肘、 左腕、 右腰、 右膝、 右脚踝、 左腰、 左膝、 左脚踝、 右眼、 左眼、 右耳和左耳。 8.根据权利要求7所述的基于目标检测网络与知识推理的人员行为意图识别方法， 其 特征在于， 步骤S7的具体方法包括以下子步骤： S7‑1、 通过人体关键点的坐标数据和 实体的位置获取实体处于人体的左侧或右侧， 若权　利　要　求　书 2/3 页 3 CN 114724078 A 3