(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211037134.1 (22)申请日 2022.08.26 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 丁伟利　李健　华长春　魏饶　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 田秀芬 (51)Int.Cl. H04N 5/232(2006.01) G06F 3/01(2006.01) H04N 13/332(2018.01) H04N 13/366(2018.01) (54)发明名称 基于单双目融合的远程增强现实随动感知 系统及方法 (57)摘要 本发明公开基于单双目融合的远程增强现 实随动感知系统及方法， 属于智能工程机械领 域， 所述系统包括用于采集施工场景的RGB信息 和深度数据并通过无线传输技术发送到服务器 端边缘端单双目融合随动智能感知模块、 服务器 端智能处理模块以及用户端增强现实模块； 所述 服务器端智能处理模块用于执行铲斗姿态估计、 铲斗斗尖定位、 精准环境 感知以及增强现实所需 的计算； 所述用户端增强现实模块包括三维显示 设备和操纵台， 三维显示设备用于显示服务器端 算法处理模块处理的三维信息融合图像， 操纵台 用于控制施工现场的工程机械作业。 本发明以远 程随动智能感知技术为基础， 能够解决操作者的 临场感和距离感缺失等问题。 权利要求书2页 说明书6页 附图4页 CN 115514885 A 2022.12.23 CN 115514885 A 1.一种基于单双 目融合的远程增强现实随动感知系统， 其特征在于： 包括边缘端单双 目融合随动智能感知模块、 服 务器端智能处 理模块以及用户端增强现实模块； 所述边缘端单双目融合随动智能感知模块， 基于单双目融合方法采集施工场景的RGB 信息和深度数据， 并通过 无线传输发送到服 务器端； 所述服务器端智能处理模块， 用于执行铲斗姿态估计、 铲斗斗尖定位、 精准环境感知以 及增强现实所需的计算； 所述用户端增强现实模块， 包括用于显示服务器端算法处理模块处理 的三维信 息融合 图像的三维显示设备和用于控制施工现场的工程机 械作业的操纵台。 2.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统， 其特征 在于： 所述边缘端 单双目融合随动智能感知模块， 包括单双目视觉传感器、 边缘端A I处理器 以及随动 云台； 所述边缘端AI处理器用于实现单双目RGB信息、 深度数据、 相机位姿信息和 关键目标信息的融合感知， 并读取用户端佩戴视频眼镜的操作者的头部姿态， 进而通过直 流无刷电机控制方法控制搭载了单双目视觉传感器的随动云台快速同步操作者头部姿态， 达到随动效果。 3.根据权利要求2所述的一种基于单双目融合的远程增强现实随动感知系统， 其特征 在于： 所述边缘端A I处理器， 通过USB数据线与单双目视觉传感器连接， 实时读取单目RGB信 息、 双目灰度信息以及相机位姿信息； 所述双目灰度信息采用立体匹配算法恢复深度图， 通 过双目深度摄像头内外参数将深度图上的2D点转换到世界坐标系下的3D点， 再通过单目 RGB摄像头的内外参数将世界坐标系下的3D点投影到RGB图像上， 实现单双目信息融合； 基 于目标检测算法实时检测关键目标信息， 并将关键目标的位置发送到服务器端智能处理模 块用于铲斗 斗尖定位。 4.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统， 其特征 在于： 所述服务器端智能处理模块， 铲斗姿态估计与定位算法采用高效的、 基于稀疏区域模 板匹配方法和实时轻量化深度学习网络对铲斗状态进 行实时跟踪， 精准环境感知算法采用 单目视觉SLAM算法， 能够为 安全作业 提供必要的环境 地图信息和工程机 械姿态信息 。 5.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统， 其特征 在于： 所述三维显示设备在显示服务器端处理完成的融合图像的同时， 能够精准捕获操作 者头部姿态， 并实时发送到服务器端， 进而被边缘端AI处理器读取， 控制随动云台进行跟 随； 所述操纵台还能用于为操作者提供真实的操纵环境， 配合视频眼镜能够达到身临其境 的效果。 6.一种如权利要求1 ‑5任一项所述的基于单双目融合的远程增强现实 随动感知系统的 感知方法， 其特 征在于： 包括以下步骤： 步骤1， 将边缘端单双目融合随动智能感知模块放置在工程机械驾驶室内， 确保驾驶室 前方玻璃无遮挡后， 打开边缘端处理器电源， 使其处于等待状态， 等待与服务器端智能处理 模块建立 通信连接； 步骤2， 打开服务器端电源， 使其处于监听状态， 等待与边缘端单双目融合随动智能感 知模块和用户端增强现实模块建立 通信连接； 步骤3， 操纵者进入操纵台， 并佩戴视频眼镜， 等待三维显示设备出现施工界面后， 开始 远程遥控作业；权　利　要　求　书 1/2 页 2 CN 115514885 A 2步骤4， 边缘端处理器读取操作者头部姿态数据， 控制随动云台实时更新姿态， 同时将 施工场景的RGB信息和深度数据通过 无线传输技 术发送到服 务器端； 步骤5， 服务器端智能处理模块通过接收的RGB信 息和深度数据进行铲斗的姿态估计与 铲斗斗尖定位， 以及环境地图信息构建， 最 终将融合了铲斗姿态信息、 斗尖位置信息以及斗 尖与自卸卡车周围物体的实际距离信息的融合图像发送到用户端 进行显示； 步骤6， 用户端操作者通过视频眼镜显示的融合图像和现场 三维信息， 配合操纵台远程 遥控工程机械作业， 同时视频眼镜实时捕获操作者头部姿态， 并将其发送到服务器端等待 边缘端处理器读取； 步骤7， 重复步骤4～步骤6 。 7.一种基于稀疏区域的铲斗姿态跟踪方法， 其中使用 如权利要求1 ‑5任一项所述的基 于单双目融合的远程增强现实随动感知系统， 其特 征在于： 包括以下步骤： S1， 将铲斗置于自然光照下， 周围避免反光性物体出现， 利用拍照设备围绕铲斗一圈， 拍摄30张照片， 拍摄时要 使铲斗处于图像中心位置； S2， 打开RealityCapture软件， 利用30张铲斗照片生成铲斗三维模型， 该三维模型与真 实铲斗比例完全相同； S3， 在三维模型周围2562个不同的位置放置虚拟相机对三维模型进行渲染， 利用渲染 图采集铲斗 当前姿态下的稀疏轮廓点， 并将 轮廓点反投影到铲斗三 维模型坐标系下进 行保 存， 同时保存轮廓点的法向量和当前姿态的方向 向量； 最终生成25 62个模板 视图； S4， 给定铲斗的初始姿态， 将所有模板视图的方向向量与初始姿态相乘， 找出与初始姿 态一致的模板视图； 将该模板视图的轮廓点投影到当前真实 图像上， 轮廓点沿法线方向前 18个像素指 定为铲斗像素， 后18 个像素指 定为背景像素， 将铲斗与背 景分割， 进而 得到铲斗 的真实轮廓； S5， 利用模型轮廓点与真实轮廓点沿法线方向的距离估计铲斗的真实姿态， 进而实现 铲斗跟踪。权　利　要　求　书 2/2 页 3 CN 115514885 A 3