(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210401372.X (22)申请日 2022.04.18 (71)申请人 张家口卷烟厂 有限责任公司 地址 075000 河北省张家口市桥 东区钻石 北路9号 (72)发明人 刘博　王国萍　庞俊杰　杨川　 崇黎明　张爱华　张立杰　蒋占波　 常立山　岳帅　王小飞　王进　 周政　贾晓慧　 (74)专利代理 机构 北京瑞盛铭杰知识产权代理 事务所(普通 合伙) 11617 专利代理师 郝丹丹 (51)Int.Cl. G06V 20/17(2022.01) B65G 57/22(2006.01)G06Q 10/06(2012.01) G06V 10/44(2022.01) G06V 10/774(2022.01) (54)发明名称 烟垛的垛形修正方法、 装置、 设备和存储介 质 (57)摘要 本发明涉及一种烟垛的垛形修正方法、 装 置、 设备和存储介质。 该垛形修正方法包括如下 步骤： 对构成烟垛的各个烟箱进行编码， 构建不 同编码对应的码垛的预定位置集； 机械手根据所 述预定位置集对烟箱进行码垛， 并在码垛过程中 分别采集该垛每一层烟 箱的俯视图像； 根据所述 俯视图像进行整体外轮廓识别和单烟箱外轮廓 识别； 将识别出的整体外轮廓与基准整体外轮廓 进行比对， 根据比对结果修正所述预定位置集； 根据修正后的预定位置集重复上述步骤直至完 成垛形修正。 该方法通过图像采集， 轮廓识别和 轮廓比对来对烟箱位置进行逐级自我修偏， 最终 整理垛形至标准状态， 避免了误差的累计。 并且， 人工参与度低， 避免了人工修偏的技术经验依赖 度大、 耗时长等 弊端。 权利要求书2页 说明书9页 附图2页 CN 115424148 A 2022.12.02 CN 115424148 A 1.一种烟垛的垛形修 正方法， 其特 征在于， 包括如下步骤： S01)、 对构成烟垛的各个烟箱进行编码， 构建不同编码对应的码垛的预定位置集； S02)、 机械手根据所述预定位置集对烟箱进行码垛， 并在码垛过程中分别采集该垛每 一层烟箱的俯视图像； S03)、 根据所述俯视图像进行整体外轮廓识别和单烟箱外轮廓识别； S04)、 将识别出的整体外轮廓与基准整体外轮廓进行比对， 判断整体外轮廓与基准整 体外轮廓的单边间距是否超过第一预设阈值， 如果是， 则判断该边为异常大边； 通过将所述 异常大边所涉及的各烟箱对应的编码的预定位置 向烟垛中心沿着与该异常大边垂直的方 向修正第一预设距离来 修正所述预定位置集； 将识别出的单烟箱外轮廓与基准单烟箱外轮廓进行位置比对， 判断单烟箱外轮廓与基 准整体外轮廓的单边间距是否超过第二预设阈值， 如果是， 则判断该边为异常小边； 通过将 所述异常小边所涉及的各烟箱对应的编码的预定位置朝向基准位置沿着与该异常小边垂 直的方向修 正第二预设距离来 修正所述预定位置集； S05)、 根据修正后的预定位置集重复步骤S02至S04； 直至整体外轮廓与基准整体外轮 廓的单边间距不超过第一预设阈值， 且， 单烟箱外轮廓与基准整体外轮廓的单边间距不超 过第二预设阈值时， 完成垛形修 正。 2.根据权利要求1所述的垛形修 正方法， 其特 征在于， 所述 步骤S03具体为： 采用cv2.findcontours轮廓识别算法对各层烟箱的俯视图像进行整体轮廓和单烟箱 轮廓识别后， 再使用IOU  Loss算法修正上述轮廓位置， 识别出各层烟箱的整体外轮廓和单 烟箱外轮廓。 3.根据权利要求2所述的垛形修 正方法， 其特 征在于， 所述 步骤S04具体为： 对步骤S03识别出的各层的整体外轮廓和单烟箱外轮廓图像进行算法弯曲， 采用算子 edges_sub_pix分别提取 出相应的整体外轮廓和单烟箱外轮廓的亚像素边 缘； 取整体外轮廓亚像素边缘的各边中点为单边位置代表点， 采用算子distance_ contours_xld计算相同层的整体外轮廓的单边位置代表 点与基准整体外轮廓的距离， 取该 距离作为单边间距； 判断单边间距是否超过第一预设阈值， 如果是， 则判断该边为异常大 边； 将所述异常大边所涉及的各烟箱对应的编 码的预定位置向烟垛中心沿着与该异常大边 垂直的方向修 正第一预设距离； 取单烟箱外轮廓亚像素边缘的各边中点为单边位置代表点， 采用算子create_ distance_tran sform_xld和pply_di stance_transform_xld计算同层的单烟 箱外轮廓的单 边位置代表点和基准单烟箱外轮廓之间的距离， 取该距离作为单边间距； 判断单边间距是 否超过第二预设阈值， 如果是， 则判断该边为异常小边； 将所述异常小边所涉及的各烟箱对 应的编码的预定位置朝向基准 位置沿着与该异常小边垂直的方向调整第二预设距离 。 4.根据权利要求3所述的垛形修正方法， 其特征在于， 所述基准整体外轮廓和基准单烟 箱外轮廓按照如下 方法获得： 采集标准 垛形的每一层 烟箱的标准俯视图， 图像采集 位置与步骤S02相同； 采用cv2.findcontours轮廓识别算法对标准垛形的各层烟箱的标准俯视图像进行整 体轮廓和单烟箱轮廓识别后， 再使用IOU  Loss算法修正上述轮廓位置， 识别出各层烟箱的 基准整体外轮廓和基准单烟箱外轮廓；权　利　要　求　书 1/2 页 2 CN 115424148 A 2对识别出的各层的基准整体外轮廓和基准单烟箱外轮廓图像进行算法弯曲， 采用算子 edges_sub_pix分别提取 出相应的整体外轮廓和单烟箱外轮廓的亚像素边 缘。 5.根据权利要求1所述的垛形修 正方法， 其特 征在于， 还 包括： S06)、 记录每个编号烟箱的位置修正次数， 单位时间内的位置修正次数超过预设值时， 发送设备异常警告。 6.根据权利要求1所述的垛形修正方法， 其特征在于， 所述烟箱尺寸为452mm ×254mm× 570mm； 码垛方式为： 每层10个烟箱， 三层为 一垛。 7.根据权利要求1至6任意一项所述的垛形修正方法， 其特征在于， 所述第一预设阈值 为10mm， 第一预设距离为5m m； 所述第二阈值 为10mm， 第二预设距离为5m m。 8.一种烟垛的垛形修 正装置， 其特 征在于， 包括： 预定位置构建单元， 用于对构成烟垛的各个烟箱进行编码， 构建不同编码对应的码垛 的预定位置集； 码垛监控单元， 用于控制机械手根据所述预定位置集对烟箱进行码垛， 并在码垛过程 中分别采集该垛每一层 烟箱的俯视图像； 轮廓识别单 元， 用于根据所述俯视图像进行整体外轮廓识别和单烟箱外轮廓识别； 预定位置修正单元， 用于将识别出的整体外轮廓与基准整体外轮廓进行比对， 判断整 体外轮廓与基准整体外轮廓的单边间距是否超过第一预设阈值， 如果是， 则判断该边为异 常大边； 通过将所述异常大边所涉及的各烟箱对应的编 码的预定位置向烟垛中心沿着与该 异常大边垂直的方向修 正第一预设距离来 修正所述预定位置集； 以及将识别出的单烟箱外轮廓与基准单烟箱外轮廓进行位置比对， 判断单烟箱外轮廓 与基准整体外轮廓的单边间距是否超过第二预设阈值， 如果是， 则判断该边为异常小边； 通 过将所述异常小边所涉及的各烟箱对应的编码的预定位置朝向基准位置沿着与该异常小 边垂直的方向修 正第二预设距离来 修正所述预定位置集； 修正完成单元， 用于当整体外轮廓与基准整体外轮廓的单边间距不超过第一预设阈 值， 且， 单烟箱外轮廓与基准整体外轮廓的单边间距不超过第二预设阈值时， 确定完成垛形 修正。 9.一种烟垛的垛形修 正装置设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于调用并执行所述计算机程序， 以实现如权利要求1至7中任一项所述烟垛 的垛形修 正方法的步骤。 10.一种计算机可读存储介质， 包括软件程序， 所述软件程序适于由处理器执行如权利 要求1至7中任一项所述烟垛的垛形修 正方法的步骤。权　利　要　求　书 2/2 页 3 CN 115424148 A 3