(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420619.2 (22)申请日 2022.04.20 (71)申请人 普达迪泰 （天津） 智能装备 科技有限 公司 地址 300000 天津市西青区中北镇中北工 业园西青道 267号1号厂房 (72)发明人 勾志阳　吴树林　马天丹　裘宏伟　 (74)专利代理 机构 北京智行 阳光知识产权代理 事务所(普通 合伙) 11738 专利代理师 靳志秀 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06F 3/01(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于AR的多维智能应用系统 (57)摘要 本发明公开一种基于AR的多维智能应用系 统， 属于涉及AR增强现实领域， 多维智能应用系 统采用AlexNet网络结构， 包括多模态融合的导 航式交互、 多模态识别 与交互、 传感器交互、 AR手 势与交互、 多媒体智能化交互和态势感知与识别 交互； 所述多模态融合的导航式交互采用多模态 融合的交互， 包括视觉、 听觉和触觉三种模态信 息； 所述AR手势与交互利用手势和虚拟场景进行 交互设计； 所述态势感知与识别交互， 增强现实 技术来提高驾驶员的态势感知能力， 预测周围态 势， 并及时作出响应； 多维智 能应用系统能够实 现更高维的图像特 征。 权利要求书2页 说明书5页 附图3页 CN 114758419 A 2022.07.15 CN 114758419 A 1.一种基于AR的多维智能应用系统， 其特征在于， 多维智能应用系统采用AlexNet网络 结构， 包括多模态融合的导航式交互、 多模态识别与交互、 传感器交互、 AR手势与交互、 多媒 体智能化交 互和态势感知与识别交 互； 所述多模态融合的导航式交互采用多模态融合的交互， 包括视觉、 听觉和触觉三种模 态信息； 建立多模态信息数据集， 分析 交互意图， 建立多模态信息相交并函数和信息独立函 数， 构建融合策略以理解用户意图， 实现语音导 航提示引导用户完成操作； 所述AR手势与交互利用手势和虚拟场景进行交互设计， 手势识别后， 当用户做五指抓 的动作时触发指环震动； 所述多媒体智能化交 互基于多媒体机器学习框架MediaPipe算法； 所述态势感知与识别交互， 增强现实技术来提高驾驶员的态势感知能力， 预测周围态 势， 并及时作出响应。 2.根据权利要求1所述的基于AR的多维智能应用系统， 其特征在于， 多模态识别与交互 包括两个阶段， 两个阶段分别为多模态识别与多模态应用交互； 多模态识别阶段包括视觉 模态和听觉模态； 所述视觉模态包括模型建立 阶段和手势交互阶段； 模型建立阶段包括手 势数据集、 数据处理、 手势识别模型和识别结果输出； 所述听觉模态为Windows语音识别 API； Windows语音识别API基于预设关键词进行关键词识别， 融合自然语言处理技术， 通过 引入马尔科 夫模型， 将语音转 化为文本数据以达 到精准识别。 3.根据权利要求2所述的基于AR的多维智能应用系统， 其特征在于， 将视觉模态和听觉 模态的模态信息进行封装成dll、 exe； Windows语音识别API识别的Python模块基于 PyInstaller进行封装成exe。 4.根据权利要求1所述的基于AR的多维智能应用系统， 其特征在于， 传感器交互包括 Kinect、 数据手套、 立体式头盔、 Go ogle的AR眼镜和体感设备。 5.根据权利要求1所述的基于AR的多维智能应用系统， 其特征在于， 在所述AR手势与交 互时的手势识别时， 首先对手势识别模型进行AlexNet_gesture进行封装， Unity中调用 AlexNet_gesture， 然后建立手部坐标和虚拟坐标的一 致性。 6.根据权利要求5所述的基于AR的多维智能应用系统， 其特征在于， 手势识别交互算法 步骤如下： 输入： 手势深度图； 输出： 手势交 互效果； Step1:在摄 像头下， 获得第n帧的深度图， 输入到AlexNet模型， 以输出手势 识别结果； Step2： 再 次获得第n+1帧手势深度图， 获取在不同时刻的两个关节点坐标Sn( θn)和Sn+ 1( θ n+1)， 其中θ n 为相机的深度三维坐标； Step3： 判断两个关节点坐标是否相等； 如果相等， 判断当前手势， 否则再次执行手势训 练。 7.根据权利要求1所述的基于AR的多维智能应用系统， 其特征在于， AlexNet网络结构 采用Relu函数作为激活函数， 包括6000万个参数和65000万个神经元、 5个卷积层以及池化 层、 3个全连接层， 输出为Softmax层。 8.根据权利要求7所述的基于A R的多维智能应用系统， 其特征在于， AlexNet网络结构， 采用层叠的卷积层、 池化层来提取图像特征； 池化过程中， 每次移步的步长小于池化的窗口 长度， AlexNet结构池化窗口大小为3x3的正方 形， 每次池化移动步长为2。 9.根据权利要求8所述的基于AR的多维智能应用系统， 其特征在于， AlexNet网络结构权　利　要　求　书 1/2 页 2 CN 114758419 A 2采用随机失活Dropout和数据增强抑制过拟合现象。 10.根据权利 要求9所述的基于A R的多维智能应用系统， 其特征在于， Dropout通过修改 神经网络本身结构来实现， 对于某一层的神经元， 通过定义的概率将神经元置为0， 神经元 不参与前向和后向传播， 同时保持输入层和输出层神经元 的个数保持不变， 然后按照神经 网络的学习方法进行参数更新， 在下次迭代中， 又重新随机删除一些神经元， 直至训练结 束。权　利　要　求　书 2/2 页 3 CN 114758419 A 3