(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143886.6 (22)申请日 2022.09.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 杜启亮　杨湖广　曲烽瑞　田联房　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06T 7/136(2017.01)G06T 7/187(2017.01) G06T 7/80(2017.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于双目视觉的输电线路周边火灾源 头定位方法 (57)摘要 本发明公开了一种基于双目视觉的输电线 路周边火灾源头定位方法， 主要利用双目摄像机 标定获得摄像机内部参数和外部参数， 经过立体 校正消除左右 摄像头之间的畸变， 再通过天地分 界线确定图像的倾斜角度， 进行水平校正， 然后 使用烟雾目标分割算法实现烟雾目标分割， 最后 进行火灾源头定位， 进行左右 摄像头图像的像素 匹配， 获得视差信息， 实现平面坐标到空间坐标 的转换， 使算法能在火灾早期火焰目标不明显时 通过烟雾进行源头定位， 进行火灾早期预警。 本 发明能够实时定位火灾源头， 对火灾源头进行精 准检测和定位， 实现火灾发生早期的实时预警作 用。 权利要求书4页 说明书8页 附图4页 CN 115546716 A 2022.12.30 CN 115546716 A 1.一种基于双目视 觉的输电线路周边火灾源头 定位方法， 其特 征在于， 包括以下步骤： 1)在高压电塔上安装双目摄 像机， 对周边的环境进行监控； 2)对双目摄像机进行标定， 使用单平面棋盘格进行摄像机标定， 获得摄像机的内部参 数M1与外部参数M2， 其中内部参数M1包括摄像机内部参数矩阵和畸变系数， 外部参数M2包括 旋转矩阵和平 移向量； 3)由于摄像机安装过程中， 左右两个摄像头之间不是完全平行的， 对双目摄像机进行 立体校正， 消除左右两个摄像头不平行导致左右两个摄像头采集到的图像之间的畸变， 使 双目摄像机的光轴平行且两个成像平面共面， 左右两个 摄像头成像原点 坐标一致； 4)收集烟雾图像数据， 对图像中的烟雾目标进行标注， 使用实例分割的标注方法进行 标注， 标注出属于烟雾目标的像素， 得到标注文件， 构建烟雾训练集； 5)根据烟雾目标形状大小不一的特点， 设计烟雾目标分割算法， 将烟雾目标以像素级 从图像中分割出来； 其中， 所述烟雾目标分割算法是在原来的Faster ‑RCNN目标检测算法基 础上增加了全连接分割模块， 将烟雾分类回归任务变为烟雾分类回归分割任务， 找出图像 中属于烟雾目标的像素点； 6)设置烟雾目标分割算法的训练参数， 将烟雾训练集输入烟雾目标分割算法中进行训 练， 训练完成后保存训练好的模型参数； 7)对烟雾目标分割算法载入训练好的模型参数， 得到最优的烟雾目标分割算法， 将左 摄像头采集的左图像作为待检测图像输入最优的烟雾目标分割算法， 输出图像每个像素点 的类别信息， 得到分割后的烟雾目标； 8)根据天空区域像素值之间平滑的特点， 利用左图像的像素梯度信 息进行天空区域分 割， 为了保留更多的边缘信息， 首先将图像转换为灰度图， 设定天空区域阈值， 对天空区域 进行粗筛， 再计算粗筛后区域连通域中像素的均值， 根据像素均值阈值进一步筛选， 筛选后 将面积最大的连通 域作为天空区域； 9)根据分割出的天空区域， 能够得到左图像中天空与地面的所有分界点， 根据这些分 界点， 使用最小乘法对分界点进行直线拟合， 找到所有分界点与直线之间欧式距离和最小 的直线作为图像中的天地分界线； 10)根据天地分界线的直线方程， 计算出天地分界线的倾斜角度， 从而对左图像进行旋 转实现水平校正； 11)根据分割后的烟雾目标进行火灾源头定位， 统计分割后的烟雾目标的像素的灰度 值， 设计源头定位算法， 该算法是通过计算烟雾目标不同区域浓度大小判断火灾源头， 将烟 雾浓度由小到大分为10个等级， 将等级最高的烟雾目标像素区作为火灾源头候选区域， 统 计火灾源头候选区域中在y轴坐标 下最大的像素点， 将该像素点作为火灾源头； 12)获得左摄像头采集图像 中火灾源头坐标位置后， 将左图像恢复到水平校正前， 对左 右摄像头的图像进行像素匹配， 通过图像中的灰度值来计算图像的匹配程度， 像素匹配后 获得图像的视差， 再利用两幅图像的视差进 行计算， 获得图像中像素的深度值， 确定像素点 相对于左摄像头的空间坐标值， 从而实现图像像素平面坐标到空间坐标的转换， 即可完成 输电线路周边火灾源头 定位。 2.根据权利要求1所述的一种基于双目视觉的输电线路周边火灾源头定位方法， 其特 征在于， 在步骤1)中， 在高压电塔上安装双目摄像机， 对输电线路周边的环境进行监控， 每权　利　要　求　书 1/4 页 2 CN 115546716 A 2隔30秒采集一次图片， 通过网络将图像传输 到本地服务器； 在步骤2)中， 为了获得摄像机的参数信息， 对双目摄像机进行标定， 采用张正友标定 法， 使用单平面棋盘格进行摄像机的标定， 获得摄像机的内部参数M1与外部参数M2， 其中内 部参数M1包括摄像机内部参数矩阵和畸变系数， 外 部参数M2包括旋转矩阵R和平 移向量T； 在步骤4)中， 收集烟雾图像数据， 使用 labelme标注工具对图像中的烟雾目标进行标 注， 使用实例分割的标注方法进 行标注， 标注出所有属于烟雾目标的像素， 得到json标注文 件， 构建烟雾训练集， 用于烟雾目标分割算法训练。 3.根据权利要求1所述的一种基于双目视觉的输电线路周边火灾源头定位方法， 其特 征在于， 在步骤3)中， 针对摄像机安装过程中， 由于人为原因导致左右两个摄像头之间不是 完全平行 的问题， 对左右两个摄像头进行立体校正， 消除由于左右两个摄像头不平行导致 的左右两个摄像头采集图像之间的畸变， 使双目摄像机的光轴平行且两个成像平面共面， 左右摄像头成像原 点坐标一致； 为了使成像平面共面， 将 摄像机的旋转矩阵R分为左右摄像 头的合成矩阵rl和rr， 计算公式分别如下 所示： rl＝R1/2 rr＝R‑1/2 然后， 构建平 移向量T方向上的图像平面的变换矩阵Rrect， 计算公式如下 所示： Rrect＝[e1,e2,e3]T e3＝e1×e2 式中， e1、 e2、 e3为中间变量， Tx、 Ty、 Tz为平移向量T在x,y,z方向上的平 移向量； 最后， 根据rl、 rr和Rrect， 计算得到左右两个摄像头之间行对准的校正矩阵Rl和Rr， 对摄 像机进行立体校正， 计算公式如下： Rl＝Rrectrl Rr＝Rrectrr。 4.根据权利要求1所述的一种基于双目视觉的输电线路周边火灾源头定位方法， 其特 征在于， 在步骤5)中， 设计的烟雾目标分割算法包括以下模块： 主干模块， 由resnet50分类网络构成， 去掉网络最后的分类结构， 保留resnet50分类网 络中的卷积层用于对烟雾目标进行 特征提取； 感兴趣区域筛选模块， 由3 ×3卷积和1×1卷积组成， 对主干模块提取到的特征图进行 感兴趣区域筛 选， 选出特征图中的感兴趣区域作为烟雾目标的候选区域； ROIAlign模块， 用于将感兴趣区域对应的特征图与原图对应， 得到固定尺寸的特征图， 用于后面的分类回归 模块和全连接分割模块； 分类回归模块， 通过全连接层和softmax对ROIAli gn模块输出的特征图进行分类回归， 得到烟雾目标的分类回归结果； 全连接分割模块， 用于对ROI  Align模块输出的每个特征图进行全连接操作， 获得图像权　利　要　求　书 2/4 页 3 CN 115546716 A 3