(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030529.9 (22)申请日 2022.08.26 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 陈静　张威　江灏　缪希仁　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 郭东亮　蔡学俊 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于帧间关联学习的输电线路异物检 测方法 (57)摘要 本发明提出一种基于帧间关联学习的输电 线路异物检测方法， 包括以下方法， 方法一、 通过 图像特征， 配准无异物架空输电线路的巡检模板 视频帧与待检测输电线路视频帧； 方法二、 将配 准的视频帧通过帧间差异辨识， 检测出与无异物 巡检视频之间的差异确定出输电线路的静态异 物， 再利用图像注意力机制， 建立出异物的通道 信息特征， 使检测模型集中于异物的特征提取； 方法三、 在单次巡检的视频中利用单个视频的帧 间关联的特性， 采用运动目标检测方法， 检测出 视频中运动的异物； 本发明通过基于帧间关联学 习的输电线路异物检测方法， 综合考虑静态和动 态的异物检测结果， 使架空输电线路异物检测符 合真实应用场景。 权利要求书2页 说明书5页 附图2页 CN 115294480 A 2022.11.04 CN 115294480 A 1.一种基于帧间关联 学习的输电线路异 物检测方法， 其特 征在于： 包括以下 方法， 方法一、 通过图像特征， 配准无异物架空输电线路的巡检模板视频帧与待检测输电线 路视频帧； 方法二、 将配准的视频帧通过帧间差异辨识， 检测出与无异物巡检视频之间的差异确 定出输电线路的静态异物， 再利用图像注意力机制， 建立出异物的通道信息特征， 使检测模 型集中于异 物的特征提取； 方法三、 在单次巡检的视频中利用单个视频的帧间关联的特性， 采用运动目标检测方 法， 检测出视频中运动的异 物。 2.根据权利要求1所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 方法一中的图像 配准， 采用输电线路的无 人机巡检图像。 3.根据权利要求1所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 方法一中的图像 配准， 基于 YOLACT实例分割算法， 采用特 征点匹配算法。 4.根据权利要求1所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 所述检测方法包括以下步骤； 步骤S1、 通过 无人机机载摄像头对指定 巡检区域进行多次影 像采集； 步骤S2、 将步骤S1同一个位置多次拍摄的图像， 分为无异物悬挂的模板视频， 和未知是 否有无异物的视频， 把未知是否有无异物的视频作为待检测视频， 将同一位置拍摄的模板 视频和待检测视频作为用于配准的视频对； 步骤S3、 制作数据集， 具体为： 将巡检视频每秒提取一帧用于制作巡检实例分割的图像 训练数据， 同样的将模板视频提取出来的图像与待检测视频提取出来的图像， 分别一一配 对为用于配准的图像对； 步骤S4、 将输电线路采集的所有图像中可能悬挂异物 的区域， 按杆塔区域和线路区域 进行分类， 并按分类来标注其像素类别， 将该部分数据分为训练集和验证集； 步骤S5、 初始化实例分割模型参数， 即YOLACT实例分割模型， 并利用步骤S4标注的训练 集数据对 模型进行训练； 步骤S6、 利用步骤S4标注的验证集对模型进行验证， 在达到期望数值时固化巡检图像 输电线路的YOLACT实例分割模型； 步骤S7、 将步骤S2位于同一个位置的图像对送入YOLACT实例分割模型， 得到杆塔区域 和线路区域的位置； 步骤S8、 对步骤S7结果进行图像形态学处理， 以提升图像配准的准确度， 进而提升输电 线路的异 物检测效果； 步骤S9、 建立架空输电线的图像配准框架， 采用特征点提取算法， 匹配特征点算法， 滤 除外点算法， 将图像对中相同物体匹配出来， 将并映射到相同的空间位置上， 完成图像对的 配准； 步骤S10、 图像对完成匹配后， 切片为相同大小 的子图对， 对切片后的子图再次进行步 骤S9的图像 配准， 将每 个子图对映射到相同的空间位置； 步骤S11、 利用卷积神经网络提取图像配准框架图像， 去掉每一层的降采样操作， 并在 最后两个卷积层上采用扩张卷积 操作将图像特 征采样到25 6×256特征图上； 步骤S12、 将步骤S10得到的子图对的结果， 输入到步骤S11的卷积神经网络， 分别提取权　利　要　求　书 1/2 页 2 CN 115294480 A 2出子图对的25 6×256大小特征图； 步骤S13、 搭建注意力机制模块， 用来建立图像特征的权重， 让网络模型更加关注对结 果影响比较大的特征， 具体为： 对步骤S12提取的256 ×256×512大小的特征图进行全局平 均池化操作将特征图转化为1 ×1×512， 选取合适大小的卷积操作参数， 进 行一维卷积计算 后保持输出的维度为1 ×1×512， 再经过Sigmoid计算后得到带有通道 注意力信息的权 重； 一维卷积输出的维度计算公式如下： 式中n为图像的大小， p为填充的元素边框与元素内容之间的空间， f为卷积核大小， s为 卷积步距； Sigmoid计算公式如下： 步骤S14、 将步骤S12通过卷积神经网络， 提取出的子图对特征图， 将特征图送入注意力 机制模块， 得到携带权 重信息的子图对特 征图； 步骤S15、 计算步骤S14携带权重信息的子图对特征图相对应位置的距离， 根据距离判 断是否存在异 物， 并确认静态 异物的位置； 步骤S16、 经过上述静态异物的检测后， 利用运动目标检测方法， 对巡检视频中漂浮的 动态异物的进行检测。 步骤S17、 综合步骤S11至步骤S15 的静态异物检测和步骤S16动态异物检测， 融合两个 判断的结果， 进一 步提升判断的准确率。 5.根据权利要求4所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 步骤S8中， 采用图像形态学腐蚀和膨胀的处理方法来保留更多的输电杆塔和线路区域 边缘细节。 6.根据权利要求4所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 步骤S9中， 采用AKAZE特征点提取算法， 采用Brute ‑force算法匹配特征点， 采用AdaLAM 算法滤除外点， 通过求 解映射矩阵， 完成图像对的配准。 7.根据权利要求4所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 步骤S1 1使用resnet5 0残差卷积神经网络 。 8.根据权利要求4所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 步骤S13使用E CA通道注意力机制模块 来建立图像特 征的权重。 9.根据权利要求4所述的一种基于帧间关联学习的输电线路异物检测方法， 其特征在 于： 步骤S16的运动目标检测方法包括 光流法、 帧间差分法或背景消除法。权　利　要　求　书 2/2 页 3 CN 115294480 A 3