(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971016.1 (22)申请日 2022.08.14 (71)申请人 珠海清大声光电工程 技术研发中心 地址 519000 广东省珠海市高新区唐家湾 镇金唐路1号港湾1号科创园2 4栋C区1 层293室 (72)发明人 吴晓涛　黄俊锋　 (74)专利代理 机构 深圳众邦专利代理有限公司 44545 专利代理师 熊指挥 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/30(2022.01) G06V 10/36(2022.01) G06V 10/40(2022.01)G06V 10/75(2022.01) G06T 17/00(2006.01) (54)发明名称 幼少年行为语言数字化建模方法 (57)摘要 本发明公开了幼少年行为语言数字化建模 方法， 具体涉及行为分析技术领域， 本发明通过 采用身体的是三维数据信息、 儿童肢体行为数据 及对应语义， 建立得到数字化仿真模型， 模型中 对采集后作为输入的图像进行降噪处理， 避免图 像采集后图像数据存在较多噪音， 保证图像真实 度和特征点更为清晰， 且对图像进行特征提取 后， 对各种肢体行为特征点与图像提取的特征点 进行匹配， 保证得到分析后的语义更为精准， 方 便精准判断幼少年当前的态度和所表达出的意 思， 方便家人理解幼少年未用语言表达出的意 思， 便于家人之间顺利沟通和解决问题， 在一定 程度上保证幼少年的心理健康成长 。 权利要求书3页 说明书6页 附图1页 CN 115331306 A 2022.11.11 CN 115331306 A 1.幼少年行为语言数字化建模方法， 其特 征在于， 包括以下步骤： 获取儿童身体的三维数据信息， 作为仿真生成三维模型的仿真参数； 为所述肢体行为及肢体行为数据与其对应的语义数据建立基础数据库； 根据三维模型的仿真参数及肢体行为数据和语义的基础数据库建立数字化仿真模型； 获取儿童肢体行为的数据作为输入， 将肢体行为数据输入数字化仿真模型中， 数字化 仿真模型输出肢体行为对应的语义。 2.根据权利要求1所述的幼少年行为语言数字化建模方法， 其特征在于： 所述获取儿童 肢体行为语义包括以下步骤： 采用图像采集设备获取儿童肢体行为图像； 对图像进行降噪处 理， 并提取图像中的特 征点； 将获取的儿童肢体行为特 征点与基础数据库中肢体行为数据进行匹配； 得到相应的肢体行为对应的语义。 3.根据权利要求1所述的幼少年行为语言数字化建模方法， 其特征在于： 所述儿童身体 的三维数据信息包括儿童的骨骼数据和各肢体关节的世界坐标系数据。 4.根据权利要求1所述的幼少年行为语言数字化建模方法， 其特征在于： 所述图像的降 噪处理采用以下 方法： 首先构件数字 图像采集模型， 采用三个角度均匀遍历方法进行传感器采像， 假设数字 图像成像区域F中的一点P(x,y)为像素点， 在尺度σ 上数字 图像的Hessian矩阵可定义为： 进行M‑1次传递迭代， 取含噪声数字图像Hes sian矩阵的临界点P(x,y)， 有， 提取两个时刻含有噪声数字 图像中多元特征数据集， 进行初始网络模式信息提取， 此 时Hessian矩阵转 化为， 简化后， 在含噪信息特征子空间中， 采用Hessian矩阵极值点检测方法进行数字图像的角点特 征提取， 利用9 ×9的中值滤波器进行数字图像像素中心噪点的均匀遍历， 强干扰环境下采 集的数字图像通常含有大量的噪声， 难以进行有效的细节分析， 为了减少计算量和计算的 复杂度， 进行数字图像降噪滤波处理， 构建Hessian矩阵进行数字图像的细节增强， 数字图 像增强处 理的Hessian矩阵为： H＝DxxDyy‑(ωDyy)2 进行数字图像的原 始像素特征提取和信息预处 理， 得到的数字图像灰度像素 特征c为： 权　利　要　求　书 1/3 页 2 CN 115331306 A 2数字图像进行细节辨识的权重系数mj(k)设定为0.9， 通过自适应 特征分解， 能计算H ′取 得局部绩效点； Dxx＜0那么数字图像灰度像素 特征点P(x,y)是局部极大点。 5.根据权利要求1所述的幼少年行为语言数字化建模方法， 其特征在于： 所述获取的图 像特征提取与匹配过程 为： 特征提取： 采用海 森矩阵来检测特 征点， 像素点 I(a,b)的海 森矩阵为 特征点定位需要具备尺度不变性， 因此计算海森矩阵钱， 要用高斯核与原图像卷积， 加 上尺度α， 形成在不同尺度下的检测公式： 其中， SURF先计算每个点的海森矩阵行列式， 通过盒型滤波器建 立金字塔， 完成特 征点粗定位， 海 森矩阵行列式的近似计算公式为： det(E)≈ QaaQbb‑(0.9Qab)2 由于9×9盒型滤波器相 当于方差为1.2的高斯函数并且代表变换图像的最小尺度， 在 金字塔图像上， 每一个点与同层的8各点和相邻层18个点比较对渎职， 若是极值点， 则初步 定义为特征点， 然后采用二元三次拟合函数来去除不稳定点和边缘相应点， 完成特征点精 定位； 特征描述算法， 特征描述子区分性和匹配效率是衡量描述子好坏的关键指标， LDB由于 结合了特征邻域强度信息和梯度信息， 具有很强的区分性。 此外， LDB由于采用二进制描述 方式可用汉明距离匹配， 具有很高的匹配效率。 LDB先将特征点邻域划分成n ×n个相同大小的网格， 计算每个网格的平均强度信息和 a,b方向的梯度信息， 平均强度信息可通过积分图像快速计算， 代表了网格的整体统计特 性， 通过计算得到a,b方向的梯度信息， 代 表了网格内部的强度变化特性， 其中m为每隔网格中像素点的个数， 通过计算灰度均值和a,b方向的梯度， 每隔网格用 上式中的3个特征信息表面， 然后在网格间比较测试确定每隔网格的二进制描述， 测试函数 为 为从中挑选出某些位， 增强特征点之间的相关性， 减弱误匹配点之间的相关性， 采用算 法选择描述子的比特位， 先对多幅影响特征是否匹配进行标记， 然后 从已标记好是否匹配 的特征中抽取样本； 通过对特征比特位的选择， 增大了不匹配对的距离， 同时减小了匹配对的距离， 并且描 述子内部具有很低的相关性， 为实现特征的旋转不变形， LDB采用灰度质心确定主方向， 确权　利　要　求　书 2/3 页 3 CN 115331306 A 3