(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508159.9 (22)申请日 2022.05.11 (71)申请人 南京林业大 学 地址 210037 江苏省南京市玄武区龙蟠路 159号 (72)发明人 朱婷婷　魏亮　过奕任　滕广　 倪超　 (74)专利代理 机构 南京智转慧移知识产权代理 有限公司 32649 专利代理师 田沛沛 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于FPGA的云跟踪方法 (57)摘要 本发明公开了一种基于FPGA的云跟踪方法， 首先通过工业相机获取云团间隔一段时间前后 的图像输入FPGA； 然后一方面对图像进行畸变校 正、 图像平滑处理、 形态学操作、 Canny边缘检测 以及提取矩特征， 另一方面对图像提取灰度共生 矩阵特征量， 将上述两种特征赋予适当的权重， 作为总的云团特征； 最后， 预测云团一段时间后 的特征量状态， 然后将上述特征量与图像二进行 匹配从而实现云跟踪。 本发明考虑到云的形状随 时间会发生改变， 并采用多特征进行云跟踪， 提 高跟踪的准确性。 同时考虑到不同类别的云团演 变方式不同， 针对不同类别的云团分别训练预测 模型。 本发明采用 “FPGA+ARM ”体系架构提高了图 像采集的实时性、 速度以及性能。 权利要求书2页 说明书6页 附图4页 CN 115100514 A 2022.09.23 CN 115100514 A 1.一种基于FPGA的云跟踪方法， 其特 征在于： 包括以下步骤： S1： 采集云团图像， 对云团进行分类； S2： 对云团图像进行处 理， 获取云团特 征： 一方面对图像进行畸变校正、 图像平滑处理、 形态学操作、 Canny边缘检测以及提取矩 特征， 另一方面对所述图像提取灰度共生矩阵特征量， 将矩特征和灰度共生矩阵特征赋予 适当的权 重， 作为总的云团特 征； S3： 利用LSTM ‑SuperGlue网络预测云团一段时间后的特征量状态， 然后将特征量与图 像二进行匹配从而实现云跟踪。 2.根据权利要求1所述的一种基于FPGA的云跟踪方法， 其特征在于： 步骤S1中， 用同一 相机拍摄间隔时间段的云团图像一与图像二， 采用差分信号传输数据。 3.根据权利要求1所述的一种基于FPGA的云跟踪方法， 其特征在于， 步骤S1中， 采集到 的云团图像， 还用于形成训练集与测试集， 利用决策树进行分类， 并且对测试集中的云团 图 像也进行分类。 4.根据权利要求1所述的一种基于FPGA的云跟踪方法， 其特征在于： 步骤S2中， 在相机 采集到图像后， 首 先对云团图像进行畸变校正， 畸变校正 算法的实现方式如下： 式中， {pi}为校正图像中所有的二维向量的集 合； pi为第i个像素对应的像素坐标； Fk为目标函数， 通过使Fk最小化， 就可以求得最佳变换{pi‑Best}； 式中， F1为针对云团部分进行的畸变校正； n为云团的个数； On为第n个云团的范围； wi为云团权 重， 云团处为1， 其它为0； mi为像素i到图像中心的距离正相关的权 重； ui为投影向量； Sn， tn为云团图像 变换的比例因子与缩放因子； (Snui+tn)为云团的相似变换； 式中， F2为针对非云团部分(即背景部分)进行的畸变校正； vi， vj为云团图像校正后i， j两点的坐标； (vi‑vj)为云团图像校正后i， j两点间向量； N(i)为i映射到的校正后的图像区域； eij为非云团图像校正后i， j两点间的向量； Fk＝ μF1+vF2权　利　要　求　书 1/2 页 2 CN 115100514 A 2式中， μ， v为相关权 重系数； 通过使Fk最小化， 求出最佳的变换矩阵， 将云团和非云团部分 分别校正再进行 结合。 5.根据权利要求1所述的一种基于FPGA的云跟踪方法， 其特征在于： 步骤S2中， 利用特 征提取算法， 通过对矩特征和灰度共生矩阵特征量的结合， 获得表征能力强的特征量， 矩特 征包括空间矩、 中心距、 归一化中心距和Hu矩， 灰度共生矩阵特征包括图像在0 °， 45°， 90°， 135°方向上的能量、 熵、 对比度、 逆差矩； 特 征结合的实现方式如下： V＝α v1+β v2 式中， v1为矩特征； v2为灰度共生矩阵特 征量； α， β 为选取的合 适的权重系数。 6.根据权利要求1所述的一种基于FPGA的云跟踪方法， 其特征在于： 步骤S3中， 将提取 的特征输入LS TM‑SuperGlue网络模型， 网络模型包括LSTM和S uperGlue两部分， LSTM网络用 于训练获得云团特 征预测模型， SuperGlue网络用于特 征匹配。 7.根据权利要求6所述的一种基于FPGA的云跟踪方法， 其特征在于： 步骤S3中， 利用 LSTM网络模型预测一段时间后云团特征变化趋势， 匹配图像二中的云团图像， 训练获得云 团特征预测模型； LSTM网络 输入为云团图像一的特 征量， 输出为云团的特 征量预测状态。 8.根据权利要求6所述的一种基于FPGA的云跟踪方法， 其特 征在于： 步骤S3中， 将LSTM的输出层作为Sup erGlue的输入层， 在输入层后对关键点进行编码， 实现方式如 下： xi＝di+MLP(pi) 式中， di为特征点的偏移量； MLP(pi)为将特征点pi利用MLP嵌入高维向量中； xi为pi映射在高维向量空间中的坐标； 通过SuperGlue网络， 获得与云团图像二中匹配度最高的云团， 即实现云跟踪。权　利　要　求　书 2/2 页 3 CN 115100514 A 3