(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211420644.7 (22)申请日 2022.11.15 (71)申请人 上海安维尔信息科技股份有限公司 地址 201206 上海市浦东 新区中国 （上海） 自由贸易试验区祥科路111号2号楼 815室 申请人 无锡顶视科技有限公司 (72)发明人 范柘　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 陆惠中 (51)Int.Cl. G06V 30/146(2022.01) G06V 30/148(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于Mask R-CNN的物料标号提取方法 及系统 (57)摘要 本发明提供了一种基于Mask  R‑CNN的物料 标号提取方法及系统， 属于图像识别技术领域。 本发明利用Mask  R‑CNN模型提取出物料标号的 第一矩形检测框、 位于物料标号的文字区域边界 的多对第一控制点、 物料标号的Mask掩膜， 据此 实现了对物料标号图像的矫正变换， 并且基于变 换矩阵还进一步确定出了更为合理的外接矩形 来对经过矫正变换的物料标号图像进行物料标 号的裁切， 使得能够准确的提取出对应的物料标 号字符。 权利要求书2页 说明书8页 附图4页 CN 115482538 A 2022.12.16 CN 115482538 A 1.一种基于 Mask R‑CNN的物料标号提取方法， 其特 征在于， 包括如下步骤： S1， 对待检测的第一物料 图片进行标准化处理， 采用Mask  R‑CNN模型对标准化处理后 的所述第一物料图片进行文字检测， 以获得物料标号的第一矩形检测框、 位于物料标号的 文字区域 边界的多对第一控制点、 所述物料 标号的Mask掩膜； S2， 对于步骤S1中的任一所述第一矩形检测框进行矫 正处理， 以获得第二矩形检测框； S3， 在所述第 二矩形检测框的上下边界均匀取与 所述第一控制点数量相同的第 二控制 点， 并计各算所述第二控制点在矫 正后的坐标； S4， 根据所述第一控制点的第一坐标和所述第二控制点的第二坐标， 计算与变换算法 对应的变换矩阵； S5， 使用步骤S4中计算得到的所述变换矩阵， 对步骤S1中的所述第一物料图片进行变 换， 得到矫 正后的第二物料图片； S6， 计算步骤S1中获得的所述Mask掩膜的外接多边形的第一有序点集， 使用步骤S4中 的所述变换矩阵对所述第一有序点 集进行变换处 理， 以得到第二有序点 集； S7， 计算所述第二有序点 集的外接矩形的坐标； S8， 根据所述外接矩形的坐标， 对所述第二物料图片进行裁切， 得到矫正后的物料标号 文字图片； S9， 对所述物料 标号文字图片进行字符识别， 以获得 所述物料 标号； S10， 循环步骤S2到步骤S9， 直至遍历所有检测到的物料 标号。 2.根据权利要求1所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征在于： 步骤 S1中第j个第一控制点的坐标 ， 由所述Mask  R‑CNN模型回归所得的相对距离 和所述第一矩形检测框计算得到， 其计算公式如下： 其中， 所述第一矩形检测框由左上角角点坐标 、 宽 和高 进行定义， 表示如下: 。 3.根据权利要求1或2所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征在于： 所述步骤S2， 具体包括： 取步骤S1中任一所述第 一矩形检测框， 将所述文字区域边界的上下边界的平均长度作 为矩形模板的宽度， 将所述文字区域边界的平均高度作为所述矩形模板的高度， 在保持长 宽比的情况 下， 将所述矩形模板缩放至预设大小以得到所述第二矩形检测框 。 4.根据权利要求3所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征在于： 步骤 S3中， 所述在所述第二矩形检测框的上下边界均匀取与所述第一控制点数量相同的第二控 制点， 并计各算所述第二控制点在矫 正后的坐标， 包括：权　利　要　求　书 1/2 页 2 CN 115482538 A 2记第一控制点对数为k， 则第一控制点总数为2k， 步骤S2中获得第二矩形检测框大小为 ； 在步骤S2中获得的所述第二矩形检测框的上边界从左向右均匀地取k个第二控制点， 在下边界地对应位置同样取k个第二控制点； 其中， 所述第二矩形检测框的上边界的所述第二控制点的坐标为： 所述第二矩形检测框的下边界的所述第二控制点的坐标为： 。 5.根据权利要求4所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征在于： 将所 述第二矩形检测框的左上角角点放置在所述第一物料图片 处,得到各所述第二控 制点在所述第一物料图片中的坐标， 其中， 、 为偏移量。 6.根据权利 要求1或2或4或5所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征 在于： 步骤S4中所述变换算法使用薄板样条插样 （TP S） 变换。 7.根据权利 要求1或2或4或5所述的一种基于Mask  R‑CNN的物料标号提取方法， 其特征 在于： 在步骤S6中， 采用OpenCV的fi ndContours函数对所述Mask掩膜进行 连通区域 提取。 8.一种基于Mask  R‑CNN的物料标号提取系统， 包括拍 摄模块、 处理模块、 存储模块； 所 述处理模块与所述拍摄模块、 所述存 储模块连接； 所述存储模块， 用于存 储可执行的计算机程序代码； 所述拍摄模块， 用于拍摄第一物料图片并传输给 所述处理模块； 其特征在于： 所述处理模块， 用于通过调用所述存储模块中的所述可执行的计算机程 序代码， 执 行如权利要求1 ‑7任一项所述的方法。 9.一种电子设备， 包括： 存储有可执行程序代码的存 储器； 与所述存 储器耦合的处 理器； 其特征在于： 所述处理器调用所述存储器中存储的所述可执行程序代码， 执行如权利 要求1‑7任一项所述的方法。 10.一种计算机存储介质， 该存储介质上存储有计算机程序， 其特征在于： 该计算机程 序被处理器运行时执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115482538 A 3