(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210196335.X (22)申请日 2022.03.01 (71)申请人 杭州杰牌传动科技有限公司 地址 311223 浙江省杭州市萧 山区靖江街 道杰牌路1号 (72)发明人 戴琴雅　陈德木　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 付婧 (51)Int.Cl. G06T 19/00(2011.01) G06T 17/00(2006.01) G06T 15/20(2011.01) G06T 7/33(2017.01) G06V 10/44(2022.01)G01S 17/88(2006.01) H04L 67/10(2022.01) (54)发明名称 一种传动解决方案模拟展示系统和方法 (57)摘要 本发明涉及一种传动解决方案模拟展示系 统和方法。 利用AR( 增强现实)技术， 将解决方案 的3D模型和实际场景进行融合， 在实地进行观察 展示时， 可以直接在现场拍摄图像的基础上进行 实时的解决方案的展示， 方便 快捷， 显示效果好， 逼真度高； 将现场采集的图像进行高度的数据精 简之后再发送至服务器， 然后再服务器中进行高 度的数据计算， 并将精简的数据发送至展示终 端， 然后在展示终端内部进行现场的渲染， 保证 了传输数据的精简， 可以大大提高数据传输的速 度， 降低延 迟， 可以实现实时拍摄和实时渲染。 利 用现场的定位模块进行粗定位， 然后结合现场拍 摄的图像进行配准， 得到的配准更加精确， 保证 现场进行高精度展示。 权利要求书3页 说明书7页 附图1页 CN 114723923 A 2022.07.08 CN 114723923 A 1.一种传动解决方案模拟展示系统， 其特征在于包括云端服务器和展示终端； 云端服 务器内设置有模 型库； 展示 终端内设置终端处理器、 图像处理模块、 激光定位模块、 陀螺仪、 显示屏幕、 摄 像头、 渲染模块和贴图模块； 云端服务器内的模型库内设置有待展示的传动解决方案3D模型和待展示位置的场景 3D模型； 终端处理器连接图像处理模块、 激光定位模块、 显示屏幕、 摄像头、 渲染模块和贴图模 块； 激光定位模块连接陀螺 仪； 展示终端拍摄待展示场景的实 际图像， 并将拍摄的实 际图像发送给图像处理模块， 图 像处理模块对实时拍摄的图像进 行特征提取； 激光定位模块 获取展示终端的位置和拍摄角 度； 展示终端将提取 特征后的图像数据以及拍摄的位置和角度发送给云端服 务器； 解决方案3D模型和待展示位置的场景3D模型已经在云端服务器内进行两个模型的互 相装配； 云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个 模型视图图像， 并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准， 选 取最接近的模型视图 图像； 云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解 决方案3D模型和场景3D模型的联合图像， 并将图像发送给展示终端； 展示终端将接收的联合图像在 贴图模块中与摄像头拍摄的图像进行图层叠加， 并将3D 模型的图像展示在最上层， 摄像头拍摄的图像展示在中间层， 场景3D模型的图像展示在最 下层； 贴图完成的图像进行渲染模块的光效渲染， 展示在显示屏幕上。 2.根据权利要求1所述的一种传动解决方案模拟展示系统， 其特 征在于： 激光定位模块激光定位模块包括旋转激光雷达， 旋转激光雷达对环境进行360度扫描， 扫描后生成点阵 图， 激光定位模块将点阵 图的点进行 连线， 得到线图， 并将线图进行平 滑； 并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离， 拐点的数量为5个以上， 并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处 理器； 陀螺 仪获取拍摄角度； 云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配， 确定激光定 位模块采集的拐点的坐标与场景模型拐点的对应关系； 进一步云端服务器根据拍摄坐标点 确定场景模型中的模型视图图像采集点， 根据陀螺仪获取的拍摄角度确定场景模型中的模 型视图图像采集角度。 3.根据权利要求1所述的一种传动 解决方案模拟展示系统， 其特征在于： 图像处理模块 将摄像头采集的图像进行物体边 缘识别， 将边 缘识别后的图像进行边 缘提取； 将边缘提取后的图像进行二值化处理， 然后将二值化处理后的图像进行线形化处理， 即将二值化处理后的黑白颜色的图转换成线图； 从而得到拍摄图像中物体的边 缘线形图； 终端处理器将边 缘线形图发送给云端服 务器； 云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图 图像；权　利　要　求　书 1/3 页 2 CN 114723923 A 2模型视图图像的形式为线形图； 云端服务器将每一张模型视图图像和边缘线形图进行 配准分析； 找到模型视图图像中最接近边缘线形图的一张， 将其对应的采集点和采集角度 标记为精确位置和精确角度； 云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模 型的联合图像， 并将图像发送给展示 终端； 联合图像为双图层， 包括场景图层和解决方案图 层； 其中解决方案图层仅包括 解决方案的设备的图像， 其 余位置透明； 贴图模块接收到联合图像， 将联合图像与摄像头拍摄的原始图像进行图层叠加， 并将 3D模型解决方案图层 的图像展示在最上层， 透明度100％， 摄像头拍摄的图像展示在中间 层， 透明度50％ ‑80％， 场景3D模型的场景图层展示在最下层， 透明度20％ ‑50％； 贴图完成 的图像进行渲染模块的光效渲染， 展示在显示屏幕上。 4.一种利用权利要求1 ‑3任一项的系统进行传动解决方案模拟展示的方法， 其特征在 于： 包括如下步骤： 步骤1、 在云端服务器中进行建模， 建模包括待展示位置的场景3D模型； 依据场景3D模 型进行解决方案 设备的3D建模， 并且将解决方案 设备3D模型和待展示位置的场景3D模 型在 云端服务器内进行两个模型的互相装配； 步骤2、 展示终端拍摄待展示场景的实际图像， 并将拍摄的实际图像发送给图像处理模 块， 图像处理模块对实时拍摄的图像进行特征提取； 激光定位模块获取展示终端的位置和 拍摄角度； 展示终端将提取 特征后的图像数据以及拍摄的位置和角度发送给云端服 务器； 步骤3、 云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍 摄多个模 型视图图像， 并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配 准， 选取最接近的模型视图图像； 云端服务器根据最接近的模型视图图像的精确 位置和精 确角度拍摄一个装配好的解决方案3D模 型和场景3D模型的联合图像， 并将图像发送给展示 终端； 步骤4、 展示终端将接收的联合图像在 贴图模块中与摄像头拍摄的图像进行图层叠加， 并将3D模型的图像展示在最上层， 摄像头拍摄的图像展示在中间层， 场景3D模型的图像展 示在最下层； 贴图完成的图像进行渲染模块的光效渲染， 展示在显示屏幕上。 5.根据权利要求 4所述的进行传动解决方案模拟展示的方法， 其特 征在于： 在步骤2之前还 包括： 步骤1.1、 在云端服务器内存储多个解决方案和多个场景3D模型； 在展示终端进行场景 3D模型和解决方案编号的选择； 选择之后进行拍摄。 6.根据权利要求 4所述的进行传动解决方案模拟展示的方法， 其特 征在于： 在步骤4之前还 包括： 步骤3.1、 在展示终端内进行灯光 位置的选择和渲染参数的选择。 7.根据权利要求 4所述的进行传动解决方案模拟展示的方法， 其特 征在于： 展示终端为连接有激光定位装置的智能眼镜、 智能手机、 移动计算机或者平板电脑。 8.根据权利要求 4所述的进行传动解决方案模拟展示的方法， 其特 征在于： 显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。 9.根据权利要求 4所述的进行传动解决方案模拟展示的方法， 其特 征在于： 将提取特征后的图像数据与场景3D模型中的模型视 图图像进行配准的方法为云端服权　利　要　求　书 2/3 页 3 CN 114723923 A 3