(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917515.2 (22)申请日 2022.08.01 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 田佳运　何卫平　郑博凯　王栋辉　 刘逸喆　张啸天　刘岱松　唐兴月　 李一宸　 (74)专利代理 机构 西安匠星互智知识产权代理 有限公司 612 91 专利代理师 王凯敏 (51)Int.Cl. G06F 3/01(2006.01) G06T 17/00(2006.01) (54)发明名称 一种2D-3D融合的虚拟现实交 互方法及设备 (57)摘要 为了解决目前在VR环境中利用手柄与虚拟 对象交互时， 稳定性差且无法实现精 准输入的技 术问题， 以及利用手机与虚拟对象交互时只能进 行简单的2D输入， 没有触觉反馈， 无法提供大范 围、 全角度空间追踪的技术问题， 本发明提出了 一种2D‑3D融合的虚拟现实交互设备及方法。 交 互时， 手柄提供触觉反馈和空间的大范围3D输 入， 对虚拟物体进行移动、 旋转和缩放； 手柄还可 作为手机追踪器， 在VR环境中实时追踪手机位 置； 手机提供虚拟图形用户输入、 精准的有形2D 输入和其基 本功能。 权利要求书2页 说明书8页 附图5页 CN 115328304 A 2022.11.11 CN 115328304 A 1.2D‑3D融合的虚拟现实交 互方法， 其特 征在于， 包括以下步骤： 步骤1： 建立系统通信框架： 采用分布式开发模式， 利用服务器实现数据的处理、 中转与保存， 将VR头盔和手机作为 客户端； VR头盔和手机工作时， 通过TCP /IP通信通道将操控指 令发送到服务器； VR头盔与手 机以所述服务器为交互媒介 进行数据传送； TCP /IP通信机制支持在虚拟空间中的手机与控 制器VR头盔间的同步； VR头盔、 手机和服 务器并行工作； 步骤2： 在VR虚拟环境中创建三维场景： 创建三维物体模型， 导入VR虚拟环境中， 然后将所述三维物体模型所在的模型坐标系 转换到VR虚拟环境的世界坐标系下； 步骤3： 手机与手柄物理结合： 通过连接结构将手机与手柄连接 于一体； 步骤4： 虚实模型 校准融合： 在场景创建软件中创建出所述手机的三维手机模型， 将所述三维手机模型的局部坐标 系中心转换到手柄的局部中心 坐标系下， 使VR虚拟环境中的手柄虚拟模型与三维手机模型 之间的位姿关系与物理世界中手机与手柄的位姿保持一 致； 步骤5： 手机屏幕镜像： 利用手机上装载的手机镜像软件将手机屏幕投射到所述服务器的窗口上， 利用计算机 上装载的屏幕采集软件获取手机屏幕信息， 通过数据流传输到VR虚拟环境中， 并将获取到 的物理手机屏幕作为纹 理贴图实时传输 到VR虚拟环境中的三维手机模型表面； 步骤6： 在VR头盔前设置深度相机， 并将 深度相机与VR相机校准:： 6.1、 在VR头盔上设置一个用于捕捉操作者手部区域环境的深度相机， 并将深度相机与 VR头盔连接 到所述服务器上； 6.2、 将深度相机在相机坐标系下的坐标值转换为在VR头盔坐标系下的坐标值， 使V R虚 拟环境中能显示操作者手部点云信息； 步骤7： 手部区域分割和可视化： 7.1、 利用深度相机获取当前区域的点云数据集， 将操作者手部区域从背景中分割出 来； 7.2、 将前景颜色图像从RGB转换为HSV颜色空间， 并应用肤色概率检测， 从前景检测手 部区域获得的肤色像素作为最后的手部区域， 根据校准深度相 机时得到的外部参数， 得到 校准后的手部区域的颜色和深度值上传到计算机， 最 终在三维虚拟空间中以点云格式对可 视化的手部区域进行实时渲染， 使操作者以点云形式看到手部区域； 步骤8： 交 互： 以手柄作为手机追踪器， 通过手机进行2D输入和/或执 行手机自身基本功能； 通过手柄进行 大范围空间输入和3D追踪。 2.根据权利 要求1所述的2D ‑3D融合的虚拟现实交互方法， 其特征在于： 步骤8中采用以 下交互模式中的一种或多种： 交互模式1： 以手柄作为手机的追踪器， 并为手机提供额外的物理按钮， 在VR环境中， 不 摘VR头盔的情况 下， 操作手机， 实现手机的基本功能； 交互模式2： 在手机的屏幕上设计多种虚拟按钮， 通过手柄发射射线选中虚拟物体后，权　利　要　求　书 1/2 页 2 CN 115328304 A 2点击手机屏幕上的虚拟按 钮操控虚拟物体； 交互模式3： 将手机屏幕上的2D物体在V R虚拟环境中显示为3D虚拟物体， 通过手柄发射 射线选中该3D虚拟物体， 对3D虚拟物体进行操作； 同理， 移动手机， 使得VR虚拟环境中的3D 虚拟物体与三 维手机模型发射出的射线碰撞后， 将所述3D虚拟物体在物理手机的屏幕中以 2D形式显示； 交互模式4： 通过手柄发射射线选 中虚拟物体， 手机的屏幕上同时出现一个形状一样的 物体， 通过操作手机屏幕上的物体， 带动VR虚拟环境中的物体移动、 旋转和缩放； 交互模式5： 在不摘掉VR头盔的前提下， 利用手机的相机实时看到物理世界， 将AR与VR 虚拟场景相融合； 交互模式6： 在操作虚拟物体时， 移动手机， 操作者看到虚拟物体的各个方向； 交互模式7： 双手手持交互设备， 一手操作手柄， 利用手柄选中虚拟物体和提供大范围的空间3D输 入， 另一手手指在手机的屏幕上滑动， 提供2D 输入， 通过手柄和手机均可对虚拟物体进 行移 动、 旋转和缩放操作； 交互模式8： 在手机的屏幕上绘画或写字， 以3D的形式实时在VR环境中显示。 3.根据权利要求1或2所述的2D ‑3D融合的虚拟现实交互方法， 其特征在于： 步骤2中所 述的连接结构包括连接结构本体， 以及设置在连接结构本体上用于安装手机的滑槽和用于 安装手柄的曲面空心槽 。 4.一种2D ‑3D融合的虚拟现实交互设备， 包括手柄； 其特征在于： 还包括与手柄连接于 一体的手机； 将所述手机的三 维手机模 型、 手柄的手柄虚拟模 型导入VR虚拟环 境中后， 所述 三维手机模型和手柄虚拟模型的位姿关系与 物理世界中手机与手柄之 间的位姿关系一致； 所述手机的屏幕可作为纹理贴图实时传输到VR虚拟环境中的三 维手机模型表 面； 通过所述 手机与手柄配合， 并利用权利要求 1或2所述的交互方法实现虚拟现实交互， 交互 时： 所述手 柄作为手机追踪器以及进行大范围空间输入和3D追踪； 所述手机用于进行2D输入和 /或在 不摘VR头盔时实现手机自身基本功能。 5.根据权利要求4所述的2D ‑3D融合的虚拟现实交互设备， 其特征在于： 所述手机与手 柄通过连接结构连接于一体； 所述连接结构包括连接主体以及设置在连接主体上用于安装 手机的滑槽和用于安装手柄的曲面空心槽 。权　利　要　求　书 2/2 页 3 CN 115328304 A 3