(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210339577.X (22)申请日 2022.04.01 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王庆　黎露　严超　孙杨　张颖　 王怀虎　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06T 17/05(2011.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G01S 19/14(2010.01) G01S 13/86(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 用于变电站巡检机器人的电表识别、 定位及 三维建图方法 (57)摘要 用于变电站巡检机器人的电表识别、 定位及 三维建图方法， 包括电表的识别、 定位和电表的 局部三维重建。 所述的电表的识别是指巡检机器 人在构建地图时对变电站中的各种表盘的识别， 所述的电表定位是指确定电表在地图中的位置， 所述的电表局部三维重建是指在识别表盘的基 础上， 对变电站中的表盘进行局部三维重建， 使 其能够快速获得重建的地图， 所述的重建地图是 指变电站其他地区的稀疏点云地图和各种表盘 的三维重建图， 特别对电表进行稠密三维重建， 是为了让变电站管理人员在可视化平台上清楚 的看到电表在变电站场景中的具体位置， 这样方 便管理人员控制巡检机器人去查看某一电表的 读数， 然后反馈结果给工作人员， 提高变电站工 作人员的工作效率。 权利要求书2页 说明书6页 附图1页 CN 114708395 A 2022.07.05 CN 114708395 A 1.用于变电站巡检机器人的电表 识别、 定位及三维建图方法， 包括， 其特 征在于： 电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别， 电表的 局部三维重建是指在上述识别定位的基础上的局部 重建， 以实现人机交 互； 所述的巡检机器人的电表 识别重建方法， 包括以下步骤： S1.巡检机器人通过视 觉传感器获取变电站 环境中的原 始彩色图像； S2.通过基于深度 学习的物体检测方法检测上述所述原始彩色图像 中是否有表盘的存 在； 所述的步骤S2中， 包括以下步骤： S21.对S1中的图像进行 卷积、 激活、 池化处 理， 提取图像的特 征图； S22.在S1中的原始彩色图上铺设锚框， 用softmax损失函数对这个锚框进行前景和背 景的二分类， 其中前 景指含有表盘的锚框， 背景指不含有表盘的锚框； S23.利用s moothL1损失函数修 正S22中得到的前 景锚框， 也 就是含有表盘的锚框； S24.将S23中得到的前 景锚框映射到S21的特 征图上， 得到含有锚框的特 征图； S25.对S24中锚框进行多分类与回归， 多分类指的是这个锚框包住的是什么类型的表， 回归指的是确定锚框最终的精确位置； 如果上述步骤之后识别出有电表 的存在， 就开始进行步骤S3中的稠密三维重建， 如果 没有识别出电表的存在就进行稀疏点云的重建； S3.基于S2中的识别与定位结果， 如果有电表的存在就进行电表的稠密重建， 如果没有 就进行场景的稀疏重建； 所述的步骤S3中， 对没有电表的地方进行普通的稀疏点云重建， 对含有电表的图， 对电 表局部进行 单张图片的三维稠密重建， 采用深度学习的方法， 包括以下步骤： S31.对S2中识别出有电表的彩色图像， 将其送入编码器网络以获得图像特 征； S32.解码器网络将S31得到的图像特征和任意深度作为输入， 生成该深度下的RGB ‑σ 图； S33.由S32就可以得到一个由多个平面组成的的三维表达， 即在一次完整 的前向传播 中， 编码需要推理一次， 而解码需要推理N次获得N个平面； S34.获得 上述三维表达后， 渲染电表在视 觉传感器位姿下的视角； S35.最后是尺度校准， 由于S31输入的是单一图像， 因此深度尺度在一个尺度因子范围 内是模糊的， 所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进 行对 齐， 通过从运动中构建获得每个图片的可见的三 维点P以及网络预测的深度图z计算尺度因 子 获得尺度因子s之后， 通过t'＝t ·s对相机的位 移进行校准， 获得准确的深度值用于 重建； S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进 行融合， 最终将其展示到可视化平台供 管理人员使用。 S4.对整个变电站进行上述步骤S1， S2， S3的操作， 完成场景稀疏 图和电表稠密图的重 建， 并将其传到 视觉可视化平台， 从而 进行进一 步的控制管理。 2.根据权利要求1所述的用于变电站巡检机器人的电表识别、 定位及三维建图方法， 其权　利　要　求　书 1/2 页 2 CN 114708395 A 2特征在于： 所述的步骤S43需要以下两步： 首先， 利用单应性扭曲建立像素点间的对应， 从视觉传感器射出一条光线， 这条光线与 电表图片的一个像素点相交， 延 长这条射线， 让它与视觉传感器视锥的各个平 面相交， 相交 点的RGB‑σ 值可以通过双 线性采样获得； 然后， 利用体积渲 染将上述光线 上的点渲 染到目标 图片像素点上， 获得 该像素点的RGB值与深度。权　利　要　求　书 2/2 页 3 CN 114708395 A 3