(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210818033.1 (22)申请日 2022.07.12 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 赵广磊　廖伟明　丁伟利　贺龙　 彭丙亢　陈自豪　穆殿瑞　王子博　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 赵洪娥 (51)Int.Cl. H04W 4/30(2018.01) H04N 5/225(2006.01) H04N 5/247(2006.01) H04N 5/232(2006.01)G06F 3/01(2006.01) (54)发明名称 一种适应 于移动机 器人的VR随动控制系统 (57)摘要 本发明涉及一种适应于移动机器人的VR随 动控制系统， 属于VR交互控制技术领域， 包括移 动机器人系统、 基站和本地随动控制系统； 所述 移动机器人系统包括移动平台、 二自由度云台、 移动机器人无线通信模块、 运动控制模块、 电源 模块和摄像头模块； 所述本地随动控制系统包括 VR眼镜、 视觉惯性里程计、 随动控制器和本地网 络通信模块。 本发明摆脱了遥控器， 操作者通过 调整自身的身体位置即可直接控制移动平台的 位置和二自由度云台的姿态， 极大地提升了操作 者的使用体验， 使得操作更具备沉浸感， 更符合 人的直觉 。 权利要求书2页 说明书7页 附图3页 CN 115175119 A 2022.10.11 CN 115175119 A 1.一种适应于移动机器人的VR 随动控制系统， 其特征在于： 包括移动机器人系统、 基站 和本地随动控制系统； 所述移动机器人系统包括移动平台、 二自由度云台、 移动机器人无线通信模块、 运动控 制模块、 电源模块和摄像头模块； 所述移动平台为移动机器人系统的载体， 由本地随动控制 系统控制 完成位置切换； 所述二自由度云台设置于移动平台上， 能够根据运动控制模块的 控制信号完成姿态的调整； 所述移动机器人无线通信模块接 收基站信号， 下达给运动控制 模块， 并发送移动机器人系统相关信息； 所述运动控制模块安装在移动平台上， 用于解析运 动控制指 令， 处理传感器信号， 闭环控制移动平台与二自由度云台； 所述电源模块为不同的 模块提供不同电平的电流； 所述摄像头模块为免驱高清双目摄像头， 安装在二自由度云台 的托盘处， 摄像头模块采集到的视频图像进行压缩编码后通过移动机器人无线通信模块、 基站传输 到本地随动控制系统； 所述基站在移动机器人系统和本地随动系统之间进行信息的传输； 所述本地随动控制系统包括VR眼镜、 视觉惯性里程计、 随动控制器和本地网络通信模 块； 所述VR眼镜配带于操作者眼部， 包括光学成像模块和图像接受模块， 所述图像接受模块 接受经过随动控制器处理的视频图像流， 通过光学成像模块呈现摄像头模块的实时视频图 像； 所述视觉惯性里程计安装在VR眼镜上， 包括视觉里程计和惯 性测量单元， 能够准确获取 人体位置和头部姿态的变化； 所述随动控制器由操作者随身携带， 对视频图像进 行解码、 图 像格式变换、 校正处理后将视频图像投影到VR眼镜进行显示， 对操作者的身体信息数据进 行处理， 生成运动控制指令， 通过本地网络通信模块、 基站、 移动机器人无线通信模块传输 到运动控制模块。 2.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统， 其特征在于： 所述 视觉惯性里程计的处理步骤为： 首先， 测量数据处理部分负责将摄像头模块采集到的视频 图像做特征提取追踪和对惯性测量单元数据的采集， 并进行惯性测量单元预积分处理； 然 后， 利用SFM进行视觉初始化， 进行惯性测量单元和 摄像头之间的外参估计， 利用重力加速 度来确定世界坐标系和惯性测 量单元的偏置和初始速度以及将世界坐标系和相机坐标系 对齐； 同时， 将IMU与摄像头模块的数据时间戳进行同步， 将视频图像的特征信息加入到惯 性测量单元相邻两 帧图像的信息增 量中， 将两者做紧耦合处理， 并进行位姿估计和联合优 化， 得到姿态角、 速度和加速度信息； 当有新的关键帧被加入至滑动窗口时， 将旧关键帧边 缘化处理， 更新先验信息和对惯性测量单元的残差； 最后对局部优化的结果进 行回环检测， 对回环涉及到的关键帧进行提取， 利用Ceres优化器进行全局的位姿图优化。 3.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统， 其特征在于： 所述 随动控制器的运动控制算法具体为： 建立移动平台的运动学模型； 采用前向欧拉法将模型离散化为差分模型； 通过传感器 感知获取当前移动平台的状态， 确定控制和预测时域大小， 获得预测模型； 对人体移动路径 采用三次样条插值平滑处理， 将得到的平滑路径数据发送到移动机器人系统端， 通过计算 得到相关状态的误差量； 调整不同误差量权重， 同时考虑移动平台的运动学约束； 设计目标 函数； 最后调用优化求解器求解下一次系统的输入量； 循环往复， 实现移动平台对人体移动 轨迹的稳定而准确的跟踪。 4.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 115175119 A 2VR随动控制系统的运行步骤如下: 步骤一： 操作者配带好VR眼镜和随动控制器； 启动系统,建立随动控制器与移动机器人 系统的网络连接， 若成功发送确认消息， 继续接下来的工作， 失败则记录并提 示操作者； 步骤二： 二自由度云台上的摄像头模块采集视频图像， 所述视频图像进行压缩编码后 经过移动机器人无线通信模块、 基站和本地网络通信模块传输到随动控制器， 经解码处理 后显示在VR眼镜上； 步骤三： 视觉惯性里程计获取操作者的身体信息数据， 所述信息数据包括操作者的头 部姿态和人体位置； 步骤四： 所述步骤三获取的信息数据经传感器传输到随动控制器， 并由随动控制器处 理生成控制参考量， 通过模型预测控制算法生成运动控制指令， 将运动控制指令通过本地 网络通信模块、 基站和移动机器人无线通信模块传输到移动机器人系统的运动控制模块， 运动控制模块根据移动平台的运动学模型对控制指令进行解算， 生成控制参考量， 控制移 动平台和二自由度云台运动进 而实现摄 像头模块 位置姿态的随动控制； 步骤五： 操作者通过调整自身的身体信息数据， 控制移动平台的位置和二自由度云台 的姿态， 实现远程随动观察周围环境。 5.根据权利要求4所述的一种适应于移动机器人的VR随动控制系统， 其特征在于： 所述 步骤四的具体流 程为： 运动控制采用安装在随动控制器上的ROS作为中间件实现， 获取视觉惯性里程计的头 部姿态和人体位置变化的数据后分成两部分处理， 一方面是姿态的控制， 将俯仰角度和偏 航角度以话题形式发布到ROS节点， 移动机器人系统通过移动机器人无线通信模块订阅节 点， 从而接收到指令， 输入到运动控制模块， 生成二自由度云台的控制 输入量， 控制两个无 刷电机， 从而调整到与人头部一致的角度， 此时移动平台的姿态控制有两种模式， 一是云台 跟随模式， 即移动平台会随云台转动到相同的偏航角度， 添加 这一模式主要考虑到画面可 能存在延迟， 进而导致人 的感知与实际移动平台的方向存在偏差， 避免云台已经转动到理 想的偏转角度， 人在进行移动时， 移动平台还没有达到理想方向的情况； 二是指令模式， 针 对操作者移动的方向与头部偏转方向不一致的情况， 移动平台直接接受随动控制器控制， 此时二自由度云台的姿态控制和移动平台的方向控制是相互独立的； 另一方面是移动平台 的位置控制， 其 流程如下： 视觉惯性里程计感知操作者的人体实时位置每隔采样时间就会得到人体的运动速度 和方向， 累积0.5s得到多个采样点， 并进行三次样条 曲线拟合， 得到人体的位置变化轨迹， 通过传感器将操作者的身体信息数据传输到随动控制 器， 随动控制 器记录这段轨迹， 然后 考虑到移动平台的运动学模型和输入输出限制进 行状态的映射， 通过控制算法生成运动控 制指令， 以话题的形式发布， 移动机器人系统接收到指令， 根据移动平台的运动学模型， 进 行运动学解 算， 生成控制量， 准确控制移动平台的位置 。 6.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统， 其特征在于： 所述 本地网络通信模块、 基站和移动机器人无线通信模块均 支持高频无线网络， 能够利用TCP网 络通信协议进行信息的传输 。权　利　要　求　书 2/2 页 3 CN 115175119 A 3