(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210146548.1 (22)申请日 2022.02.17 (71)申请人 北京石油化工学院 地址 102600 北京市大兴区清源北路19号 (72)发明人 贺京杰　刘石头　郭前进　刘强　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 刘明华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/70(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 应用于流水线的无色透明物体识别方法及 系统 (57)摘要 本申请涉及一种应用于流水线的无色透明 物体识别方法及系统， 方法包括： 获取无色透明 物体的深度图像和RGB图像， 将RGB图像和深度图 像进行对齐， 由于本申请中， 根据RGB图像对深度 图像进行全局优化， 输出优化后的深度图像， 并 根据优化后的深度图像对无色透明物体进行识 别定位， 从而提高对无色透明物体的识别精度。 权利要求书1页 说明书5页 附图2页 CN 114529524 A 2022.05.24 CN 114529524 A 1.一种应用于流水线的无色透明物体识别方法， 其特 征在于， 包括： 获取流水线中无色透明物体的RGB图像和深度图像； 将所述RGB图像和所述深度图像进行对齐； 根据所述RGB图像对所述深度图像进行全局优化， 输出优化后的深度图像； 根据所述优化后的深度图像对所述无色透明物体进行识别定位。 2.根据权利要求1所述的方法， 其特征在于， 所述获取流水线中无色透明物体的RGB图 像和深度图像， 包括： 基于深度摄 像机获取流水线中无色透明物体的深度图像； 基于双远心摄 像机获取流水线中无色透明物体的RGB图像。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述RGB图像对所述深度图像进 行全局优化， 包括： 将所述RGB图像输入预先训练的深度卷积网络， 得到多个优化维度以及各优化维度对 应的优化数据； 根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行全局 优化。 4.根据权利要求3所述的方法， 其特征在于， 所述优化维度至少包括： 表面法线， 透 明表 面掩模和遮挡边界。 5.根据权利要求3所述的方法， 其特征在于， 所述深度卷积网络为多个， 各个所述深度 卷积网络对应各 所述优化维度。 6.根据权利要求3所述的方法， 其特征在于， 所述根据所述RGB图像对所述深度图像进 行全局优化， 还 包括： 根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行校正 和深度调整。 7.一种应用于流水线的无色透明物体识别系统， 其特 征在于， 包括： 第一摄像组、 第二摄 像组、 处理器、 电源和通讯模块； 所述电源分别连接所述第 一摄像组、 所述第二摄像组、 所述处理器和所述通讯模块， 用 于提供工作电源； 所述处理器分别连接所述第一摄 像组、 所述第二摄 像组和所述 通讯模块； 所述通讯模块还连接上位机； 所述第一摄 像组用于获取流水线中无色透明物体的RGB图像； 所述第二摄 像组用于获取流水线中无色透明物体的深度图像； 所述处理器用于将所述RGB图像和所述深度图像进行对齐； 还根据所述RGB图像对所述 深度图像进行全局优化， 输出优化后的深度图像； 还根据所述优化后的深度图像对所述无 色透明物体进行识别定位， 并通过 所述通讯模块将识别定位结果发送到所述上位机 。 8.根据权利要求7所述的应用于流水线的无色透 明物体识别系统， 其特征在于， 所述第 一摄像组包括： 深度摄 像机； 所述第二摄 像组包括： 双远心摄 像机； 所述通讯模块包括： GPRS无线通讯模块， 且所述 通讯模块基于TCP/IP协议进行通信。权　利　要　求　书 1/1 页 2 CN 114529524 A 2应用于流水 线的无色透明物体识别方 法及系统 技术领域 [0001]本申请涉及图像识别处理技术领域， 尤其涉及一种应用于流水线的无色透明物体 识别方法及系统。 背景技术 [0002]药罐生产流水线上偶尔会出现无色透明玻璃瓶的倾倒、 破碎等情况， 此时需要操 作员工通过塑胶手套对失效情况进行现场处理， 这就要求操作人员需要24小时轮班在岗执 勤， 同时由于药罐生产流水线对洁净度有较高的要求， 人员的进 出操作间， 需要通过严格的 洁净处理， 占用了较多的人力物力。 现有技术中， 可以通过光学3D传感器获取流水线 上无色 玻璃瓶的深度图像， 进而对 无色玻璃 瓶进行识别， 同时定位它们的位置和姿态， 通过机器人 维护系统代替员工， 实现流水线倾倒、 破碎玻璃 瓶的识别和处理。 但是现有技术中应用的光 学3D传感器对无色透明物体的识别不够精确， 比如在杂波环境中对相互遮挡簇拥的多个无 色透明物体则无法精确识别无色透明玻璃瓶的边界。 发明内容 [0003]为至少在一定程度上克服相关技术中对无色透明物体的识别精度不够准确的问 题， 本申请提供一种应用于流水线的无色透明物体识别方法及系统。 [0004]本申请的方案如下： [0005]根据本申请实施例的第一方面， 提供一种应用于流水线的无色透明物体识别方 法， 包括： [0006]获取流水线中无色透明物体的RGB图像和深度图像； [0007]将所述RGB图像和所述深度图像进行对齐； [0008]根据所述RGB图像对所述深度图像进行全局优化， 输出优化后的深度图像； [0009]根据所述优化后的深度图像对所述无色透明物体进行识别定位。 [0010]优选的， 在本申请一种可实现的方式中， 所述获取流水线中无色透明物体的RGB图 像和深度图像， 包括： [0011]基于深度摄 像机获取流水线中无色透明物体的深度图像； [0012]基于双远心摄 像机获取流水线中无色透明物体的RGB图像。 [0013]优选的， 在本申请一种可实现的方式中， 所述根据所述RGB图像对所述深度图像进 行全局优化， 包括： [0014]将所述RGB图像输入预先训练的深度卷积网络， 得到多个优化维度以及各优化维 度对应的优化数据； [0015]根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行 全局优化。 [0016]优选的， 在本申请一种可实现的方式中， 所述优化维度至少包括： 表面法线， 透明 表面掩模和遮挡边界。说　明　书 1/5 页 3 CN 114529524 A 3