(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200473.7 (22)申请日 2022.09.29 (71)申请人 哈尔滨市科佳通用机电股份有限公 司 地址 150060 黑龙江省哈尔滨市经开区哈 平路集中区潍 坊路2号 (72)发明人 何鑫淼　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 张月航 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 铁路货车手 轮倾斜检测方法及系统 (57)摘要 本发明提供的一种铁路货车手轮倾斜检测 方法及系统涉及一种图像检测方法及系统， 目的 是为了克服由于现有铁路货车手轮倾斜检测均 采用人工检测， 容易造成观测误差的问题， 其中 方法具体步骤如下： 步骤一、 采集并裁剪得到货 车侧面图像； 步骤二、 进行目标检测， 得到手轮位 置信息图像； 进行语义分割， 得到手轮轮廓信息 图像； 步骤三、 通过手轮轮廓信息图像中的手轮 轮廓， 得到手轮轮廓的中心线； 铁路货车手轮倾 斜检测方法手轮轮廓的中心线为手轮轮廓的最 高点和最低点之间的连线； 步骤四、 计算中心线 与竖直线之间夹角的角度， 如果铁路货车手轮倾 斜检测方法角度超过角度阈值， 则判断货车侧面 图像中的手 轮倾斜。 权利要求书2页 说明书7页 附图1页 CN 115482534 A 2022.12.16 CN 115482534 A 1.铁路货车手 轮倾斜检测方法， 其特 征在于， 具体步骤如下： 步骤一、 采集并裁 剪得到货车侧面图像； 所述货车侧面图像为包 含手轮部位的图像； 步骤二、 将货车侧面图像输入到目标位置检测网络进行目标检测， 得到手轮位置信息 图像； 将货车侧 面图像和手轮位置信息图像输入到语义分割网络进行语义分割， 得到手轮 轮廓信息图像； 步骤三、 通过手 轮轮廓信息图像中的手 轮轮廓， 得到手 轮轮廓的中心线； 所述手轮轮廓的中心线为手 轮轮廓的最高点和最低点之间的连线； 步骤四、 计算中心线与竖直线之间夹角的角度， 如果所述角度超过角度阈值， 则判断货 车侧面图像中的手 轮倾斜。 2.根据权利要求1所述的铁路货车手轮倾斜检测方法， 其特征在于， 步骤二中目标位置 检测网络为改进Faster ‑RCNN网络， 且进行目标检测的具体步骤为： 步骤二一、 对货车侧面图像进行空洞卷积， 得到空洞卷积后的特 征图； 步骤二二、 将空洞卷积后的特征图像输入到 图像特征金字塔， 图像特征金字塔的每个 卷积层均对空洞卷积后的侧 面图像进行卷积操作， 不同卷积层的输出不同尺寸的特征图； 从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作， 使最小尺寸的特征图与 相邻上层的特征图尺寸一致， 并将最小尺寸的特征图与相 邻上层的特征图进 行特征融合得 到第一融合特 征图； 迭代上述操作直到一个融合特 征图的尺寸与侧面图像相同； 步骤二三、 将经过最邻近上采样操作后的特征图分别 进行1x1卷积、 3x3且膨胀率为6的 空洞卷积、 3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后， 将得到的4个空 间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图， 再使用一个1x1卷 积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合， 得到结合 尺寸和深度信息的特 征图； 步骤二四、 对结合尺寸和深度信息的特征图输入进行池化， 得到手轮位置信息 图像作 为目标检测结果。 3.根据权利要求2所述的铁路货车手轮倾斜检测方法， 其特征在于， Faster ‑RCNN中的 损失函数为Focal Loss损失函数。 4.根据权利要求3所述的铁路货车手轮倾斜检测方法， 其特征在于， 步骤三的具体步骤 为： 步骤三一、 得到初始最高点和初始最低点， 分别在初始最高点和初始最低点所在高度 截取高度为5像素 的邻域图像， 在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点 和最低点； 步骤三二、 将新得到的最高点和最低点连线， 得到手 轮轮廓的中心线。 5.根据权利要求4所述的铁路货车手轮倾斜检测方法， 其特征在于， 步骤四中， 角度阈 值为10°。 6.铁路货车手 轮倾斜检测系统， 其特 征在于， 包括： 图像采集模块， 用于采集并裁剪得到货车侧面图像； 所述货车侧面图像为包含手轮部 位的图像； 并发送至轮廓提取模块； 轮廓提取模块， 用于将货车侧面图像输入到目标位置检测网络进行目标检测， 得到手 轮位置信息图像； 将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分权　利　要　求　书 1/2 页 2 CN 115482534 A 2割， 得到手 轮轮廓信息图像； 并发送至中心线获取模块； 中心线获取模块， 用于通过手 轮轮廓信息图像中的手 轮轮廓， 得到手 轮轮廓的中心线； 所述手轮轮廓的中心线为手轮轮廓的最高点和最低 点之间的连线； 并发送至倾斜判断 模块； 倾斜判断模块， 用于计算中心线与竖直线之间夹角的角度， 如果所述角度超过角度阈 值， 则判断货车侧面图像中的手 轮倾斜。 7.根据权利要求6所述的铁路货车手轮倾斜检测方法， 其特征在于， 轮廓 提取模块中目 标位置检测网络为改进Faster ‑RCNN网络， 且改进Faster ‑RCNN网络包括： 空洞卷积层， 用于对货车侧面图像进行空洞卷积， 得到空洞卷积后的特征图； 并发送至 图像特征金字塔； 图像特征金字塔， 用于将空洞卷积后的特征图像输入到 图像特征金字塔， 图像特征金 字塔的每个卷积层均对空洞卷积后的侧面图像进 行卷积操作， 不同卷积层的输出不同尺寸 的特征图； 从最小尺寸的特征图起进 行1x1的卷积操作和最邻近上采样操作， 使最小尺 寸的 特征图与相邻上层的特征图尺寸一致， 并将最小尺寸的特征图与相邻上层的特征图进 行特 征融合得到第一融合特征图； 迭代上述操作直到一个融合特征图的尺寸与侧 面图像相同； 并将最邻近上采样 操作后的特 征图均发送至递归金字塔； 递归金字塔， 用于将经过最邻近上采样操作后的特征图分别进行1x1卷积、 3x3且膨胀 率为6的空洞卷积、 3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后， 将得到 的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图， 再使用一 个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合， 得到结合尺寸和深度信息的特 征图； 并发送至池化层； 池化层， 用于对结合尺寸和深度信息的特征图输入进行池化， 得到手轮位置信息 图像 作为目标检测结果。 8.根据权利要求7所述的铁路货车手轮倾斜检测方法， 其特征在于， Faster ‑RCNN中的 损失函数为Focal Loss损失函数。 9.根据权利要求8所述的铁路货车手轮倾斜检测方法， 其特征在于， 中心线获取模块包 括： 点查找模块， 用于得到初始最高点和初始最低点， 分别在初始最高点和初始最低点所 在高度截取高度为5像素 的邻域图像， 在邻域图像内寻找手轮轮廓的中心点作为新得到的 最高点和最低点； 并发送至连线模块； 连线模块， 用于将新得到的最高点和最低点连线， 得到手 轮轮廓的中心线。 10.根据权利要求9所述的铁路货车手轮倾斜检测方法， 其特征在于， 倾斜判断模块中， 角度阈值 为10°。权　利　要　求　书 2/2 页 3 CN 115482534 A 3