(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210590232.1 (22)申请日 2022.05.26 (71)申请人 上海倍肯智能科技有限公司 地址 200030 上海市徐汇区虹桥路3 33号1 幢409A室 (72)发明人 刘东波　李正波　张永　吴纯泉　 (74)专利代理 机构 上海秋冬专利代理事务所 (普通合伙) 31414 专利代理师 张月 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G01R 31/00(2006.01) G01R 31/08(2006.01) (54)发明名称 基于双目测距和图像分割对输电线舞动 的 检测方法 (57)摘要 本发明提供了一种基于双目测距和图像分 割对输电线舞动的检测方法， 涉及图像识别技术 领域， 所述检测方法能通过深度学习图像分割算 法模型进行推理识别， 再将识别结果传送给双目 测距系统， 双目测距系统通过识别结果判断是否 需要计算距离， 最后将识别结果和计算的障碍物 距离信息发送到手机APP端和设备终端， 在手机 APP端查看图片， 导线和障碍物的轮廓和距离信 息会以不同颜色标出， 并和原图做了对比， 根据 在同一场景不同时刻的固定障碍物距离的异同， 便可判断导线是否舞动以及舞动的剧烈程度。 权利要求书1页 说明书6页 附图6页 CN 114998245 A 2022.09.02 CN 114998245 A 1.一种基于双目测 距和图像分割 对输电线舞动的检测方法， 其特征在于所述检测方法 基于安装在输电线上 的在线监测装置实时采集导线舞动、 震动和 风偏等工况图像信息， 构 建输电线三 维运行姿态信息， 检测过程中应用有包括硬件设备端、 A I图像识别、 双目测距系 统、 后端服 务、 APP端五大功能模块在内的检测系统， 所述检测方法的步骤 包括： S1: 在输电线上安装好图像采集终端设备， 标定准确双目相机； S2:终端设备获取双目图片并转发给AI服务器， AI服务器获取图片后， 通过图像分割技 术推理出图片中是否存在危险目标以及危险目标位置及类别 信息； S3: 双目测距系统获取到AI服务器提供的危险目标在图片中的位置信息， 根据公式计 算出危险目标和导线的距离以及危险目标和设备 的距离， 同时可构建出危险目标、 导线和 设备的三维姿态信息； S4:预警系统利用图像分割技术提供的目标类别和双目测距技术提供的[A1]  危险等 级； 同时根据[A 2] 一段时间内的变化情况， 计算出导线的舞动剧烈程度。 2. 根据权利要求1所述的基于双目测距和图像分割 对输电线舞动的检测方法， 其特征 在于所述S2中的图像分割技术中利用的是DeepLab  V3+的语义分割模型， 由Encoder和 Decoder两部分组成， 将  DeepLab 的 DCNN及ASPP  部分看做  Encoder， 将  ASPP输出的高层 语义特征与DCNN中低层高分辨率信息融合后上采样成原图大小的部分看做  Decoder， 其中 使用的上采样方式是双线性插值。 3.根据权利要求2所述的基于双目测距和图像分割对输电线舞动的检测方法， 其特征 在于所述S2中对采集图像进 行卷积上采样的方式是通过空洞卷积进 行计算： 对于卷积 输出 的特征y上的每 个位置i以及对应的卷积核w， 对于 输入x， 空洞卷积的计算如下 所示： 上式中r为空洞率， 表示卷积核在卷积操作的输入x上的取样步长； k表示卷积核参数的 位置， 例如卷积核尺寸 为3， 则k= 0,1,2； kernel_size表示卷积核尺寸。 4.根据权利要求1所述的基于双目测距和图像分割对输电线舞动的检测方法， 其特征 在于所述S 3中的双目测距系统中被测点与相机 之间的距离计算方式为： z为被测点P 到相机 的距离， 与分别为左右相机的光学中心， b为两光学中心的距离， 和分别是被测点P在左右图 像上的成像点， f为相机的焦距， 和为成像点相对于图像中点的距离； 根据三角形相似定理， 可以得到公式 （1） ： 简化公式 （1） ， 并将用d来 替换后， 得到公式2， 即双目测距的原理公式： 其中d被称为视差， 所以在已知基线长度、 相机焦距以及像点视差时， 就可以通过公式 （2） 计算出被测点距离相机的实际距离 。 5.根据权利要求4所述的基于双目测距和图像分割对输电线舞动的检测方法， 其特征 在于所述S1中标定的相机数据包括自身的内在参数和摄 像机相对位置 外在参数。权　利　要　求　书 1/1 页 2 CN 114998245 A 2基于双目测距和图像分割对输电线舞动的检测方 法 技术领域 [0001]本发明涉及图像识别技术领域， 尤其涉及基于双目测距和图像分割对输电线舞动 的检测方法。 背景技术 [0002]我国输电网建设大规模迅速扩大， 输电线舞动引发的事故逐渐凸显， 轻则造成闪 络、 跳闸， 重则造成金属夹具损坏， 导线断股、 断线， 杆塔螺栓松动、 脱落， 甚至倒杆等严重事 故， 容易造成电网大面积的停电， 进而直接或者间接对社会生活生产造成巨大的经济损失。 然而对输电线路舞动的监控， 传统的采用现场检查的巡视方式必 然会消耗大量的人力和物 力， 而更为重要的是不能及时发现故障或隐患， 造成工作的延误， 甚至扩大故障范围。 [0003]随着计算机技术和光电技术的发展， 机器视觉技术应运而生。 双目测距技术运用 两个摄像头对同一场景进行拍摄， 从而产生图像视差， 然后通过该视差建立物体距离测量 模型， 从而实现景物 距离的实时计算。 [0004]图像分割技术是计算机视觉领域的一个重要的研究方向， 图像分割是指将图像分 成若干具有相似性质的区域的过程。 该技术相关的场景物体分割、 人体前背景分割、 三 维重 建等技术已经在无人驾驶、 增强现实、 安防监控等行业 都得到了广泛的应用。 基于深度学习 的图像分割算法研究对 象是像素级别的， 在输电线路 防外破监控系统应用中， 分割的精准 度非常高， 适用于户外 输电线路场景的多目标检测分割。 [0005]现有的舞动检测技术可以采用传感器检测、 卫星定位检测等。 传感器 的测量精度 易受温度的影响， 观测抖动误差较大， 而且抗干扰能力弱， 运用传感器检测高压架空输电线 路舞动， 存在较大误差、 预测高压架空输电线事故风险的能力差的问题。 现有的卫星定位检 测导线舞动状态的方法也存在 诸多问题， 包括定位模块定位高度误差较大、 定位精度不高、 计算误差较大以及算法反馈时间长等。 综上， 现有的高压架空输电线舞动检测技术存在各 种问题。 发明内容 [0006]为解决上述背景技术中存在的问题， 本发明提供了一种基于双目测距和图像分割 技术的输电线 舞动的检测方法， 本发明提供的检测方法能通过深度学习图像分割算法模型 进行推理识别， 再将识别结果传送给双目测距系统， 双目测距系统通过识别结果判断是否 需要计算距离， 最后将识别结果和计算的障碍物距离信息发送到手机APP端和设备终端， 在 手机APP端查看图片， 导线和障碍物的轮廓和距离信息会以不同颜色标出， 并和原图做了对 比， 根据在同一场景不同时刻的固定障碍物距离的异同， 便可判断导线是否舞动以及舞动 的剧烈程度。 本发明的技 术方案是这样的： 一种基于双目测距和图像分割对输电线舞动的检测方法， 基于安装在输电线上的 在线监测装置实时采集导线舞动、 震动和风偏等工况图像信息， 构建输电线三维运行姿态 信息， 检测过程中应用有包括硬件设备端、 AI图像识别、 双目测距系统、 后端服务、 APP端五说　明　书 1/6 页 3 CN 114998245 A 3