(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211181818.9 (22)申请日 2022.09.27 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 黄辉　吴建强　肖豪　梁志龙　 王家浩　谭晓茵　孙梦雪　舒展　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 尹长斌 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 接线端子检测识别方法、 装置、 计算机设备、 存储介质 (57)摘要 本发明提供了一种接线端子检测识别方法、 装置、 计算机设备和计算机可读存储介质， 方法 包括： 获取接线端子图像； 预设特征金字塔网络 对接线端子图像进行特征检测， 以得到多个不同 维度的多个特征图； 对特征图进行级联处理得到 图像特征； 根据图像特征从接线端子图像中提取 文本区域图像； 通过预设卷积循环神经网络对文 本区域图像进行文字识别。 在获取接线端子图像 后， 获取其不同维度的特征图， 使得接线端子被 分割多个不同的部分， 再对这些部分进行检测可 以有效规避由于接线端弯曲倾斜， 排列密集， 长 短不一， 颜色各异导致的文本区域检测准确率低 的问题， 从而提高接线 端子检测识别的准确率。 权利要求书2页 说明书9页 附图5页 CN 115526858 A 2022.12.27 CN 115526858 A 1.一种接线 端子检测识别方法， 所述方法包括： 获取接线 端子图像； 通过预设特征金字塔网络对所述接线端子图像进行特征检测， 以得到多个不同维度的 多个特征图， 其中， 维度 表示所述特征图在所述接线端子图像中区域大小的占比， 同一 维度 的多个所述特 征图不重 叠且拼接后可构成完整的所述接线 端子图像； 对所述特 征图进行级联处 理得到图像特 征； 根据所述图像特 征从所述接线 端子图像中提取文本区域图像； 通过预设卷积循环神经网络对所述文本区域图像进行文字识别。 2.根据权利要求1所述的方法， 其特征在于， 所述预设特征金字塔网络以Swin   Transformer模块作为骨干网络， 所述Swin  Transformer模块设计为N层结构， 所述通过预 设特征金字塔网络对所述接线端子图像进行特征检测， 以得到多个不同维度的特征图， 其 中， 不同维度的特 征图对应所述接线 端子图像中不同大小占比的区域， 包括： 将所述接线 端子图像分割为多个图块； 通过所述Swin Transformer模块的第一层将所述图块 合并， 得到一维特 征图； 将所述Swin  Transformer模块的第n层所生成的n维特征图输入至第n+1层， 并在第n+1 层将所述n维特征图合并， 得到n+1维特征图， 以得到所述多个不同维度的特征图， 其中1≤n ≤N‑1。 3.根据权利要求2所述的方法， 其特征在于， 在所述Swin  Transfoemer模块的每一层的 输出通道设置有SE  block模块， 所述SE  block模块包括压缩模块和激励模块， 所述对所述 特征图进行级联处 理得到图像特 征之前， 还 包括： 通过所述压缩 模块对所述特 征图进行全局平均池化， 得到特 征向量； 通过所述激励模块将所述特 征向量进行归一 化处理， 得到第一权值； 根据所述第一权值更新所述特 征图。 4.根据权利要求3所述的方法， 其特征在于， 在所述通过所述压缩模块对所述特征图进 行全局平均池化， 得到特 征向量之前， 还 包括： 对所述特 征图进行 上采样处 理， 以提高所述特 征图的分辨 率。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述图像特征从所述接线端子图 像中提取文本区域， 包括： 根据所述图像特 征确定概 率图和自适应阈值图； 根据所述 概率图和所述自适应阈值图确定 近似二值图； 根据所述近似二 值图从所述接线 端子图像中确定所述文本区域。 6.根据权利要求1所述的方法， 其特征在于， 所述预设卷积循环神经网络包括卷积层、 循环层和转录层， 其中， 所述卷积层包括ResNet模块和SE  block模块， 所述通过预设卷积循 环神经网络对所述文本区域图像进行文字识别， 包括： 通过所述ResNet模块从所述文本区域图像中提取文本特 征图； 通过所述SE block模块确定每 个所述文本特 征图的第二权值； 根据所述第二权值和所述文本特 征图确定特 征序列； 通过所述循环层确定所述特 征序列的标签分布； 通过所述转录层根据所述标签分布获取文字识别结果。权　利　要　求　书 1/2 页 2 CN 115526858 A 27.根据权利要求1所述的方法， 其特征在于， 在通过预设卷积循环神经网络对所述文本 区域图像进行文字识别之前， 还 包括： 确定所述文本区域图像中的霍夫直线； 计算所述霍夫直线的倾 斜度； 根据所述霍夫直线的倾 斜度校正所述文本区域图像的倾 斜度； 通过投影分割算法去除所述文本区域图像的边 缘冗余信息 。 8.一种接线 端子检测识别装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取接线 端子图像； 特征检测单元， 用于通过预设特征金字塔网络对所述接线端子 图像进行特征检测， 以 得到多个不同维度的多个特征图， 其中， 维度表示所述特征图在所述接线端子图像中区域 大小的占比， 同一维度的多个所述特征图不重叠且拼接后可构成完整的所述接线端子图 像； 图像特征确定单 元， 用于根据对所述特 征图进行级联处 理得到图像特 征； 提取单元， 用于根据所述图像特 征从所述接线 端子图像中提取文本区域图像； 文字识别单 元， 用于通过 预设卷积循环神经网络对所述文本区域图像进行文字识别。 9.一种计算机设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7任意一项 所述的接线 端子检测识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器运行， 以实现如权利要求1至7 中任一项所述的接线 端子检测识别方法。权　利　要　求　书 2/2 页 3 CN 115526858 A 3