(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210856178.0 (22)申请日 2022.07.19 (71)申请人 南京熊猫电子股份有限公司 地址 210002 江苏省南京市玄武区中山 东 路301号 申请人 南京熊猫信息产业有限公司 (72)发明人 郭旭周　胡鹏路　徐舒　张振焜　 孙昊　李勇　顾勇　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/28(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B61L 23/00(2006.01) (54)发明名称 一种城轨积水识别方法及识别系统 (57)摘要 本发明公开了一种城轨积水识别方法及识 别系统， 城轨积水识别方法的主要步骤包括收集 各城轨场景的地面积水图像数据、 建立用于积水 识别的语义分割模型、 进行神经网络训练并验 证、 利用训练完成的模型对图像进行处理， 并将 结果信息输出给接口服务程序， 识别系统包括图 像采集单元、 模型训练单元、 视觉识别单元、 线 性 线段检测单元、 ROI量化处理单元、 接口服务程序 以及智能告警单元。 本发明采用独创的视觉检测 技术及基于多特征ROI区域斜率搜索及长度累加 的方法， 能够容忍摄像头抖动、 光线变换等不良 条件， 对城轨区域浅度积水、 深度积水可 以精确 识别和及时告警， 提高了相关部门的汛情排查能 力和后续应急处置 工作效率。 权利要求书2页 说明书6页 附图5页 CN 115272849 A 2022.11.01 CN 115272849 A 1.一种城轨积水识别方法， 其特 征在于： 所述方法包括如下步骤： (1)基于目标使用环境收集各城轨场景下的地面积水图像数据， 结合网络上的随机地 面积水数据， 使用Lab elme工具进行积水区域标注， 构成积水识别深度神经网络数据集， 基 于该数据集划分积水识别神经网络训练集和 神经网络测试集； (2)基于标准的FCN ‑8s全卷积神经网络建立 一个用于积水识别的语义分割模型； (3)在步骤(2)中加入基于反射的注意力机制单元， 生成新型的FCN ‑8s全卷积神经网络 模型即FCN ‑8s‑FL模型， 进一步在新型的FCN ‑8s全卷积神经网络模型中加 入损失函数生成 FCN‑8s‑FL‑5RAU模型； (4)基于步骤(3)中提出的FCN ‑8s‑FL模型、 FCN ‑8s‑FL‑5RAU模型和步骤(1)中完成的神 经网络训练集， 进行神经网络训练； (5)验证步骤(4)训练完成的模型； (6)获取摄像头码流数据， 定时对图片进行抽帧， 组成时间序列图帧G0(x， y)、 G1(x， y)……Gn(x， y)， 通过步骤(4)中训练完 成的模型， 对序列图帧G0(x， y)、 G1(x， y)……Gn(x， y) 进行识别， 输出二 值化识别结果图G0(x， y)′、 G1(x， y)′ ……Gn(x， y)′； (7)对二值化结果图G0(x， y)′、 G1(x， y)′ ……Gn(x， y)′进行像素扫描统计， 计算积水像 素点个数， 根据阈值给出积水结论， 完成对每帧图片中水坑、 浅度积水的分析识别， 并将该 识别点的识别结果、 位置信息和时间信息 输出给接口服 务程序； (8)对时间序列帧G0(x， y)、 G1(x， y)……Gn(x， y)的图像进行滤波、 光线处理、 增强以及 二值化识别处 理， 得到图像H0(x， y)、 H1(x， y)……Hn(x， y)； (9)对图像H0(x， y)、 H1(x， y)......Hn(x， y)进行连通域分析， 根据连通域轮廓像素点遍 历出图像中所有满足Width≤α且Length≥β 的线性矩形支持区域R0(x， y)、 R1(x， y)……Rm (x， y)， 对所有连通域轮廓R0(x， y)、 R1(x， y)……Rm(x， y)的像素点进行遍历， 找到每个像素 点所在线性矩形支持区域， 并将其优 先提取至Length值更大的线性矩形支持区域并更新区 域为R0(x， y)′、 R1(x， y)′ ……Rm(x， y)′； (10)对更新区域R0(x， y)′、 R1(x， y)′......Rm(x， y)′所有矩形中的黑点像素进行邻域 检测， 对邻域无同像素的孤点进行剔除， 并重新遍历所有矩形支持区域， 将Width＞α或 Length＜β 的矩形支持区域剔除， 得到R0(x， y)″、 R1(x， y)″ ……Rm(x， y)″， 再将所有R0(x， y)″、 R1(x， y)″ ……Rm(x， y)″的矩形宽边中点线段连接， 标记回原图像G0(x， y)、 G1(x， y)…… Gn(x， y)中； (11)将所有时间序列帧G0(x， y)、 G1(x， y)……Gn(x， y)中的钢轨、 轨枕、 道床、 道岔局部 按线性线段角度进行逆向旋转， 实现关键线性线段 的水平置位， 水平置位后可以极为方便 的通过矩形框对钢轨、 轨枕、 道床、 道岔的局部线性线 段区域进 行ROI提取， 从而实现不同特 征的ROI提取， 根据基于多特征ROI区域斜率搜索及长度累加的量化方法， 完成对深度积水 的识别检测， 将该识别点的识别结果、 位置信息、 时间信息 输出给接口服 务程序； (12)接口服务程序将步骤(1) ‑(7)识别输出的水坑、 浅积水识别结果以及步骤(8) ‑ (11)识别输出的深度积水结果， 根据时空关系进行匹配， 将匹配后的当前识别点的识别结 果、 位置信息、 时间信息输出并存入数据库， 同时发送给智能告警单元， 通过不同告警级别 进行推送。 2.根据权利要求1所述的城轨积水识别方法， 其特征在于： 所述步骤(3)基于反射的注权　利　要　求　书 1/2 页 2 CN 115272849 A 2意力机制单元对水面反射的相关图像性质进行识别具体包括对积水水面反射出的上方图 像进行搜索， 通过沿着图像的像素列匹配图像区域来搜索反射像素点， 在垂直匹配中使用 多种分辨 率遍历搜索。 3.根据权利要求1所述的城轨积水识别方法， 其特征在于： 所述步骤(3)基于反射的注 意力机制单元的模型构建方法为： 给定一个大小为[h， w， c] 的输入特征图I， 在水平方向上 进行平均池化， 使其缩小到[h， w/2， c]； 然后进行垂直平均池化将其减少到大小为[n， w/2， c]的X； 之后， X的每一行Xi的大小为[1， w/2]， 被平铺或自我复制到大小为[n， w/2]， 从所有 行中得到的特征图沿特征轴串联成一个新的特征图， 大小为[n， w/2， c*n]； 最后， 这个特征 图被上采样为[h， w， c*n]大小， 并表示为X ′， 沿特征轴串联n次I， 得到大小为[h， w， c*n]的 I′， 从X′中减去I′， 产生大小为[h， w， c*n]的D， 被减去的特征图再次与I ′串联， 送入卷积层 并由ReLU函数激活， 生成与I相同大小的最终输出 特征图。 4.根据权利要求1所述的城轨积水识别方法， 其特征在于： 所述步骤(5)中验证训练完 成的模型具体操作为： 通过步骤(1)中完成的测试集应用在步骤(3)中的FCN ‑8s‑FL模型、 FCN‑8s‑FL‑5RAU模型， 并与没有使用基于反射的注意力机制单元的FCN ‑8s神经网络模型进 行对比。 5.根据权利要求1所述的城轨积水识别方法， 其特征在于： 所述步骤(11)中基于多特征 ROI区域斜率搜索及长度累加的量化方法为： 计算ROI区域中与钢轨、 轨枕、 道床、 道岔线线 段斜率值之差小于k的所有线段的数量及长度累加和， 钢轨、 轨枕、 道床、 道岔的ROI线性线 段的数量及长度累加和分别为Counts ‑g、 Counts ‑d、 Counts ‑c1、 Counts ‑c2、 Lenth ‑g、 Lenth‑d、 Lenth‑c1、 Lenth ‑c2， 当出现深度积水时， 钢轨、 轨枕、 道床、 道岔被积水覆 盖， 其对 应ROI区域中的线性线段消失， Counts ‑g、 Counts ‑d、 Counts ‑c1、 Counts ‑c2、 Lenth ‑g、 Lenth‑d、 Lenth‑c1、 Lenth ‑c2数值骤减， 当以上数值连续n帧小于阈值时， 判定为深度积水 状态。 6.一种城轨积水识别系统， 其特征在于： 包括图像采集单元、 模型训练单元、 视觉识别 单元、 线性线段检测单元、 ROI量化处理单元、 接口服务程序以及智能告警单元， 其中， 图像 采集单元为符合标准码流输出协 议的摄像头； 模型训练单元用于构建改进的全卷积积分神 经网络， 完成积水识别模型训练， 并为视觉识别提供基础 模型； 视觉识别单元通过模型训练 单元训练完的模型对监测区域下 的水坑、 浅度积水进行图像识别； 线性线段检测单元内置 独创的线性线段识别算法， 实现对城轨场景监测图像中固定景物的线性线段特征进行识 别； ROI量化处理单元用于对图像进行处理， 并对钢轨、 轨枕、 道床、 道岔的局 部线性线段区