(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210584884.4 (22)申请日 2022.05.27 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 邹荣　王月彤　何霖　王权　 杨启志　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 胡德水 (51)Int.Cl. G01N 3/40(2006.01) G01N 3/06(2006.01) G01N 21/84(2006.01) G06V 10/22(2022.01)G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 20/40(2022.01) G06V 20/68(2022.01) (54)发明名称 一种无接触式大批量猕猴桃成熟度检测系 统及方法 (57)摘要 本发明公开了一种无接触式大批量猕猴桃 成熟度检测系统及方法， 包括高帧率视频采集相 机、 振动平台和处理器， 采集猕猴桃微振动时的 视频图像并传输至处理器进行视频分析计算， 定 位猕猴桃所在位置； 以视频微动放大技术将猕猴 桃在受到振动时的表皮微小位移放大至可观察； 通过对放大后的二值化处理、 边缘滤波检测猕猴 桃的质心位置， 以视频多帧图像识别其位移变 化； 对放大的位移图像阈值设定猕猴桃的成熟度 等级， 以计算的位移变化标定猕猴桃成熟度。 相 较于现今通过水果硬度计按压猕猴桃、 本发明通 过对猕猴桃硬度的视觉检测实现猕猴桃大量快 速分级的无损检测处理， 达到提高我国猕猴桃水 果的市场竞争力， 具有令猕猴桃果品的未来不断 发展、 壮大的重要意 义。 权利要求书3页 说明书8页 附图3页 CN 115015008 A 2022.09.06 CN 115015008 A 1.一种无接触式大批量猕猴桃成熟度检测系统， 其特征在于， 包括高帧率视频采集相 机、 振动平台和处 理器； 振动平台包括振动模块； 所述振动模块用于通过振动平台实现对猕猴桃的微振动处 理； 高帧率视频采集相机包括视频采集模块； 所述视频采集模块用于采集猕猴桃微振动时 的视频图像并传输 至处理器进行视频分析计算； 处理器结合高帧率视频采集相机传输的视频图像信息， 包括猕猴桃识别模块、 视频微 动放大模块和成熟度计算模块； 所述猕猴桃识别模块用于通过摄像头采集的图像分析， 以图像相邻 像素点的灰度值的 突变识别猕猴桃的表层边界， 定位 猕猴桃所在位置； 所述视频微动放大模块用于通过视频图像微动放大技术将猕猴桃在受到振动时的表 皮微小位移放大至可观察， 包含视频数据分解处理、 视频数据采集处理、 视频信号去噪处 理、 视频序列放大处 理和视频放大建 设处理； 所述成熟度计算模块包括成熟度检测模块和成熟度标定模块； 所述成熟度检测模块用于通过对放大后的灰度图像识别标定猕猴桃所在平台位置， 以 边缘滤波检测猕猴桃的质心位置， 以视频多帧图像识别其 位移变化； 所述成熟度标定模块用于通过对放大的位移图像阈值设定猕猴桃的成熟度等级为未 成熟、 成熟、 过成熟， 以计算的位移变化标定猕猴桃成熟度。 2.一种根据权利要求1所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特征在于， 包括以下步骤： 采集猕猴桃微振动视频数据： 通过振动模块实现对猕猴桃的微振动处理； 通过视频采 集模块采集 猕猴桃微振动时的视频图像并传输 至处理器进行视频分析计算； 猕猴桃识别定位： 通过摄像头采集的图像分析， 以图像相邻像素点的灰度值的突变识 别猕猴桃的表层边界， 以矩形框图标定猕猴桃所在位置， 并截取图像处 理； 视频数据分解处理： 利用复值可操 纵金字塔对采集截取的猕猴桃图像数据逐帧进行空 域分解， 获得不同方向与不同尺度的图像， 以傅里叶变换方法分离猕猴桃视频图像的幅值 和相位分析； 视频数据采集处理： 采用时域带通滤波对相位信号进行处理获取的猕猴桃微动 放大的 数据信息； 视频信号去噪处 理： 通过设置合 适的高斯滤波器进行噪声处 理， 从而提高信号信噪比； 视频序列放大处理： 对经过带通滤波后的猕猴桃微动的位移变化信号δ(t)进行运动放 大处理， 得到运动放大序列f(x+(1+α )δ(t) )； 视频放大建设处理： 对放大处理后的猕猴桃位移视频进行建设分析， 获得运动放大后 的视频微动数据信息； 成熟度检测计算： 通过对放大后的灰度图像识别标定猕猴桃所在平台位置， 以边缘滤 波检测猕猴桃的质心位置， 以视频多帧图像识别其 位移变化； 成熟度的标定： 通过对放大的位移图像 阈值设定猕猴桃的成熟度等级为未成熟、 成熟、 过成熟， 以计算的位移变化标定猕猴桃成熟度。 3.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特权　利　要　求　书 1/3 页 2 CN 115015008 A 2征在于， 所述 猕猴桃识别定位的具体步骤为： 步骤S1： 采用高帧率视频采集相机准确存取猕猴桃微振动图像； 步骤S2： 依托图像的像素点灰度值， 以像素点阈值90区分猕猴桃与背景色块， 并进行图 像二值化处理， 以边届像素点的值0和1的突变识别猕猴桃的位置； 步骤S3： 定位猕猴桃的边界点位置， 以矩形框图标定猕猴桃位置， 并截取其图像进行计 算处理。 4.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述视频数据采集处理的具体步骤为： 采用合适的带通滤波器对采集的相位信号 进行滤波处理， 需要限制位移α δ(t)， 使放大的位移很好地近似于真实的位移信号， 用高斯 窗的一个标准差作为界， 从而获取的猕猴桃微动放大的数据信息采集。 5.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述视频信号去 噪处理的具体步骤为： 输入序列中的噪声会导致相位信号本身的 噪声， 从而导致不正确的运动被放大， 在相位上使用振幅加权和高斯模糊， 通过设置合适的 高斯滤波器进行噪声处 理， 从而提高信号信噪比。 6.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述视频序列放大 处理的具体步骤为： 带通有效的猕猴桃数据的相位， 时间带通相 位对应于不同空间尺度和方向的运动。 为了合成放大运动， 将带通相位乘以放大因子α， 然 后使用这些放大的相位差来放大序列中的猕猴桃微小运动， 通过对每个帧的每个系数的相 位修改， 对经过带通滤波后的猕猴桃微动的位移变化信号δ(t)进行运动放大处理， 得到运 动放大序列f(x+(1+α )δ(t) )。 7.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述视频放大建设处理的具体步骤为： 视觉传感器拍摄到的猕猴桃受到同等微小 振动时， 不同的成熟度其表面的形变情况不同， 通过视频微小位移的放大将微小的形变f (t)‑t切片放大图像进行视频的重组实现小位移的放大处 理。 8.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述成熟度检测计算的具体步骤为： 作为典型的一种呼吸跃变型的水果种类， 猕猴 桃在其生长期间， 果实会由硬逐渐软化至可食用， 因而表现为猕猴桃果 实的不断软化， 为检 测猕猴桃的成熟度且在对其没有损伤的情况 下， 可采用微小振动表现其表层的硬度； 步骤M1： 进行猕猴桃的sobei 边缘检测； 步骤M2： 对 截取图像进行regi onprops函数处 理， 检测其区域特 征以及质心位置所在； 步骤M3： 对视频每帧图像进 行质心位置的保存以及小位移的计算， 以数组 计算位移变化， 并保存于数组中； 9.根据权利要求2所述一种无接触式大批量猕猴桃成熟度检测系统的控制方法， 其特 征在于， 所述成熟度的标定的具体步骤为： 猕猴桃的成熟度多用其硬度进 行表征， 通过对放 大的位移图像阈值设定猕猴桃的成熟度等级为未成熟、 已成熟、 过成熟， 以计算的位移变化 标定猕猴桃成熟度； 以未成熟 的猕猴桃和已成熟 的猕猴桃大量计算标定， 设置猕猴桃未成权　利　要　求　书 2/3 页 3 CN 115015008 A 3