(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150991.2 (22)申请日 2022.09.21 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 高英　陈泽琦　李锋　魏厚发　 管世宏　张祖刚　欧张文　李颖松　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06T 7/136(2017.01)G06T 7/246(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多视角图像融合的针片状集料颗粒识 别方法 (57)摘要 本发明提供了一种基于多视角图像融合的 针片状集料颗粒识别方法， 包括： 采集多个视角 的集料图像序列， 对图像预处理并进行同一集料 颗粒的多形态数据关联， 调整集料颗粒的最小惯 性矩所在轴的角度， 将集料颗粒的多视角形态融 合在一张集料图像中， 基于深度学习网络建立集 料形状分类模 型并对集料形状进行分类。 本发明 通过融合不同视角中的集料形态， 构建能够反映 集料三维形态特征的多视角融合图像， 提高了二 维集料图像的三维形态表征能力， 并利用深度学 习模型的自适应特征提取能力构建分类模型进 行集料形状分类， 有效提高了针片状集料的识别 准确率。 权利要求书2页 说明书5页 附图4页 CN 115471702 A 2022.12.13 CN 115471702 A 1.一种基于多视角图像融合的针片状集料颗粒识别方法， 其特 征在于， 包括： 步骤1： 采集集料图像序列： 振动给料机控制集料下落， 采集下落过程中的集料图像， 得 到多个视角的集料图像序列； 步骤2： 图像预处理和多形态数据关联： 对集料图像序列进行阈值分割， 剔除图像上下 边界处形态不完整的集料颗粒， 并对同一集料颗粒 的形态数据进行关联， 得到集料颗粒 的 多视角形态数据； 步骤3： 调 整集料颗粒的形态角度： 计算集料颗粒形态的最小惯性矩所在轴与水平轴的 逆时针夹角， 并通过顺时针旋转等量的角度， 使集料颗粒 的最小惯性矩所在轴处于水平状 态； 步骤4： 融合集料颗粒的多视角形态： 以集料颗粒的质心坐标为基准， 将集料颗粒的多 个形态平移至同一图像的目标位置进 行像素数值叠加， 使集料颗粒的多视角形态融合于一 张集料图像中， 并将该集料图像的像素数值范围等比例映射至[ 0,255]， 构建集料颗粒的多 视角形态融合图像； 步骤5： 构建分类模型并分类： 基于深度学习网络建立集料形状分类模型， 并对集料形 状进行分类。 2.根据权利要求1所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 步骤1 中， 利用工业相机采集下落过程中的集料图像， 并采用背光拍摄的拍摄方式， 且工 业相机和光源安装在集料 下落位置的两侧。 3.根据权利要求2所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 所述工业相机的帧率 为70fps， 拍摄视场的高度为24cm。 4.根据权利要求1所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 步骤2中图像预处 理和多形态数据关联的具体步骤 包括： 步骤2‑1： 采用单阈值分割方法对集料图像序列进行阈值分割， 得到集料二 值化图像； 步骤2‑2： 采用颗粒分析算子提取集料颗粒的位置信息， 所述位置信息包括最小像素y 坐标Boundi ng Rect Top和最大像素y坐标Boundi ng Rect Bottom； 步骤2‑3： 将Bounding  Rect Top等于1的集料颗粒或Bounding  Rect Bottom等于图像 像素高度的集料颗粒识别为 不完整颗粒， 并将不完整颗粒从图像中剔除； 步骤2‑4： 根据集料颗粒在图像序列中的运动规律对集料颗粒进行跟踪， 关联属于同一 颗集料颗粒的多个形态的图像序列， 得到集料颗粒的多视角形态数据。 5.根据权利要求1所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 步骤3中集料颗粒 形态的最小惯性矩所在轴与水平轴的逆时针夹角的计算公式如下： 其中， n为集料颗粒包含的像素数量， (xi,yi)为集料颗粒的像素坐标集合， xi为像素横权　利　要　求　书 1/2 页 2 CN 115471702 A 2坐标， yi为像素纵坐标。 6.根据权利要求1所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 步骤4中将图像的像素 数值范围等比例映射至[0,25 5]的公式如下： 其中， p为图像叠加后的像素值， pmax为图像叠加后最大的像素值， p*为像素映射后的像 素值。 7.根据权利要求1所述的基于多视角图像融合的针片状集料颗粒识别方法， 其特征在 于， 步骤5构建 分类模型并分类的具体步骤 包括： 步骤5‑1： 将集料颗粒的多视角形态融合图像划分为训练集和 测试集； 步骤5‑2： 将训练集的集料颗粒的多视角形态融合图像输入至18层深度残差网络进行 训练， 建立 集料颗粒 形状分类 器； 步骤5‑3： 使用集料形状分类器对测试集的集料颗粒的多视角形态融合图像进行形状 分类， 并验证模型的准确性。权　利　要　求　书 2/2 页 3 CN 115471702 A 3