(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210156492.8 (22)申请日 2022.02.21 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王立辉　肖惠迪　苏余足威 　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 基于注意力神经网络的无人机光伏故障诊 断及定位方法 (57)摘要 本发明是基于注意力神经网络的无人机光 伏故障诊断及定位方法， 包括步骤： 1、 获取巡检 无人机航拍的光伏组件红外图片， 读取无人机实 时位置信息和姿态数据； 2、 基于注意力机制和 FPN结构构造FPT结构； 3、 构建BP神经网络， 采用 FPT结构进行信息融合， 航拍图片作为输入， 缺陷 所在光伏组件的像素坐标作为输出， 训练所构建 的神经网络， 得到针对红外图像缺陷检测的神经 网络； 4、 对原始图像进行分割得到光伏组件掩 模， 再根据目标检测网络的定位结果确定有故障 的光伏组件， 得到目标组件的角点像素坐标； 5、 根据无人机拍摄实时坐标和姿态角构造坐标转 换模型， 根据地空几何关系将神经网络输出的像 素坐标转化为大地坐标下的位置坐标， 得到缺陷 所在光伏组件的位置信息。 该方法适用于基于无 人机巡检的光伏组件缺陷检测定位， 可以实现组 件缺陷的实时监测， 提高缺陷检测精度。 权利要求书3页 说明书8页 附图1页 CN 114529817 A 2022.05.24 CN 114529817 A 1.基于注意力神经网络的无人机光伏故障诊断及定位方法， 其特征在于， 包括如下步 骤： (1)获取巡检无人机航拍的光伏组件红外图片， 读取无人机实时位置信息和姿态数据。 其中无人机的飞行高度为h， GP S坐标为(xD， yD)， 相机视野角γ， 俯仰角 θZD， 航向角 ψZD。 (2)基于注意力机制和FPN结构构造FPT模块， 包含自转换器ST、 植入转换器GT和渲染转 换器RT三种转换器结构， 分别实现特征层内的全局信息交互和自上而下、 自下而上的层间 局部信息交 互： 其中， ST结构对当前特征层进行三次不同的卷积操作得到values， keys， queries， 将 queries和keys分别N等分得到qi、 kj， 利用点乘计 算每对的相似度si， j后采用MoS归一化 得到 权重系数wi， j， 对values进行加权求和得到特 征图： 其中Fsim为点乘操作， Fmul为矩阵乘法操作， FMos为归一化操作定义如下， 为可训练的用于归一 化的参数， 为所有keysi， j的算术平均值： GT是自上而下的特征交互， 将深层特征图的语义信息植入浅层特征图的高分辨率信 息， 实现对浅层特征图的增强， 考虑到不同尺寸的特征图提取到的语义信息存在差异， 采用 负欧氏距离计算相关性， 公式表示如下： 其中qi浅层特征图， kj， vj来自深层特征图， Feud表示欧氏距离， 即每一对qi和kj距离越 近， 其权重越大： Feud(qi， kj)＝‑||qi‑kj||2          (4) RT是自下而上的特征融合， 旨在通过高分辨率的像素信息渲染高语义信息， 实现对深 层特征图的渲染， Q来 自高层特征图， K， V来自低层特征图， 首先通过对K进行全局平均池化 得到权重w对Q进行加 权， 再通过带步长的卷积缩小V的尺寸， 最后将处理后尺寸相同的K， Q 相加并细化处 理得到输出特征图； 权　利　要　求　书 1/3 页 2 CN 114529817 A 2其中GAP表示全局平均池化， 对齐K， Q的尺寸； Fatt为外积函数， 实现对特征 图Q的加权； Fsconv表示带步长的3 ×3卷积， 用于缩小低层特征图V尺寸； Fconv表示3×3卷积， 用于对加权 结果Qatt进行优化； Fadd表示先相加后经 过3×3卷积进行细化处 理； (3)构建单阶段目标检测BP神经网络， 采用CSPDarknet53作为主干网络进行特征提取， 采用FPT结构进行信息融合， 输出模块利用锚框思想进 行预测和回归， 并采用最优二分匹配 思想设计损失函数； 将航拍图像尺 寸统一为416 ×416×3作为网络输入， 缺陷所在光伏组件 中心的像素坐标作为输出， 训练所构建的神经网络， 得到针对红外图像缺陷检测的神经网 络； 其中输出模块将特征图划分为S ×S个网格， 每个网格负责预测9个不同尺度的锚框， 即 学习锚框在网格中的相 对偏移和各类别概率， 需要学习(tx， ty， tw， th， pobj， pcls)六个参数， 其中(tx， ty)表示锚框中心坐标相对于网格点的偏移， (tw， th)表示边界框宽高与预设边界 框宽高的比值， pobj表示边界框中包含检测目标的概率， pcls表示检测目标属于各类别的概 率， 最后通过基于DIOU改进的非极大值抑制算法NMS对 所有预测结果进 行筛选， 得到的目标 边界框坐标和类别 信息作为网络 输出； 损失函数采用二分图匹配算法， 在每一代训练结束后 通过损失函数最小化策略寻找预 测结果与真值的最优二分图匹配， 并只对匹配成功的预测目标框计算损失函数， 损失函数 定义为分类损失与定位损失的加权和： 其中 表示分类损失， 用Focalloss计算， 表示两个目标框中心点的归一化欧式距 离， 表示两个目标框的左上角点与右下角点的归一化曼哈顿距离， λcls、 λcls、 λManhattan为加权系数； (4)用语义分割网络LEDNet对原始图像进行分割， 得到光伏组件串掩模； 对光伏组件串 掩膜进行二值化分割得到光伏组件掩模， 然后进 行中值滤波消除噪声点， 并先后进 行腐蚀、 膨胀操作对光伏组件分割 结果进行优化， 取其最小外接矩形作为优化后的光伏组件掩模； 最后根据目标检测网络的定位结果确定有故障的光伏组件， 得到目标组件的角点像素坐 标； (5)采用基于无人机POS数据的目标定位方法， 通过机载GPS/1NS系统获取 图像捕获时 相机姿态角、 视野角及无人机的飞行高度、 GPS坐标等信息， 根据空中三角几何关系计算出 目标像素点的GP S坐标； 目标检测模块获得缺陷组件的四个角点坐标(x1， y1， x2， y2)和缺陷类别， 根据下式计算 得到该光伏组件中心点的像素坐标(x， y)， 即目标像素点 坐标： 无人机的飞行高度为h， GPS坐标为(xD， yD)， 相机视野角γ， 俯仰角 θZD， 航向角 ψZD， 相机 视野范围为(yf0， yf1)， (xf0， xf1)， 目标像素点的GP S坐标为(X， Y)， 红外图像的尺寸 为(W， H)； 首先计算相机视野范围的四个角点， 即图片四个顶点的GPS坐标， 根据空中三角关系 有：权　利　要　求　书 2/3 页 3 CN 114529817 A 3