(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210151486.3 (22)申请日 2022.02.18 (71)申请人 广州市城市规划勘测设计 研究院 地址 510060 广东省广州市越秀区建 设大 马路10号 (72)发明人 刘洋　何华贵　王会　杨卫军　 郭亮　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 陈志明 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/20(2022.01) G06V 10/44(2022.01) (54)发明名称 无人机图像的正射影像实时生成方法、 装 置、 介质及设备 (57)摘要 本发明公开了一种无人机图像的正射影像 实时生成方法、 装置、 介质及设备， 包括： 获取无 人机实时采集的图像； 对当前帧图像若干第一特 征点与前一帧图像若干第二特征点进行特征点 匹配， 得到相互匹配的若干第三特征点； 根据若 干第三特征点建立对极几何， 计算视觉坐标系下 的每一帧图像的初始姿态信息； 根据初始姿态信 息， 对每一帧图像进行回环检测， 得到每一关键 帧图像； 根据每一关键帧图像的初始姿态信息， 计算视觉坐标系下的每一关键帧图像的最终姿 态信息， 以生成每一初始正射影像； 根据最终姿 态信息将每一初始正射影像进行实时拼接融合， 以实时生 成无人机图像的正射影像。 本发明实施 例能够实时估计无人机相机姿态， 从而进行实时 图像拼接， 减 小误差。 权利要求书2页 说明书9页 附图3页 CN 114565863 A 2022.05.31 CN 114565863 A 1.一种无 人机图像的正 射影像实时生成方法， 其特 征在于， 包括： 获取无人机实时采集的图像； 提取当前帧图像的若干第 一特征点与前一帧图像的若干第 二特征点， 并对若干所述第 一特征点与若干所述第二特 征点进行 特征点匹配， 得到相互匹配的若干第三特 征点； 根据若干所述第 三特征点建立对极几何， 并基于SLAM算法计算视觉坐标系下的每一帧 图像的初始姿态信息； 根据每一帧图像的初始姿态信息， 对每一帧图像进行回环检测， 得到每一关键帧图像； 根据每一关键帧图像的初始姿态信 息， 采用最小二乘法计算视觉坐标系下的每一关键 帧图像的最终姿态信息， 以生成每一初始正 射影像； 根据每一关键帧图像的最终姿态信 息将每一初始正射影像进行实时拼接 融合， 以实时 生成无人机图像的正 射影像。 2.如权利要求1所述的无人机图像的正射影像实时生成方法， 其特征在于， 通过以下步 骤提取任一帧图像的特 征点： 以任一帧图像的任一像素点 为中心像素点， 获取 预设范围内的每一局部像素点； 获取该帧图像的每一全局像素点， 并分别计算每一所述全局像素点与 所述中心像素点 之间的每一全局像素差， 对超过预设像素差阈值的全局像素差的绝对值进行统计， 得到全 局统计结果； 当所述全局统计结果不小于预设全局阈值 时， 分别计算每一局部像素点与 所述中心像 素点之间的每一局部像素差， 对超过所述预设像素差阈值的局部像素差的绝对值进行统 计， 得到局部统计结果； 当所述局部统计结果 不小于预设局部阈值时， 得到该帧图像的特 征点。 3.如权利要求1所述的无人机图像的正射影像实时生成方法， 其特征在于， 所述根据每 一关键帧图像的初始姿态信息， 采用最小二乘法计算视觉坐标系下的每一关键帧图像的最 终姿态信息， 以生成每一 正射影像， 包括： 当获取到至少三帧关键帧图像的初始姿态信 息时， 采用最小二乘法计算视觉坐标系与 GNSS坐标系之间的旋转关系； 当所述旋转关系 满足预设的旋转条件时， 得到视觉坐标系下的每一关键帧图像的最终 姿态信息， 以生成每一初始正 射影像。 4.如权利要求1所述的无人机图像的正射影像实时生成方法， 其特征在于， 所述根据每 一关键帧图像的最终姿态信息将 每一正射影像进 行实时拼接融合， 以实时生成无人机图像 的正射影像， 包括： 根据每一关键帧图像的最终姿态信息， 获取当前帧初始正 射影像； 当当前帧初始正 射影像与前一帧初始正 射影像存在重 叠区域时， 计算所述重 叠区域； 当所述重 叠区域被观测到一次以上时， 计算所述重 叠区域的方差； 当所述方差小于预设方差阈值时， 将所述当前帧初始正射影像更新到全局地图， 以实 时生成无 人机图像的正 射影像。 5.如权利要求4所述的无人机图像的正射影像实时生成方法， 其特征在于， 所述计算所 述重叠区域， 包括： 根据下式计算所述重 叠区域：权　利　要　求　书 1/2 页 2 CN 114565863 A 2式中， xglobal是全局已有观测值， xnew是初始正射影像 的观测值， n是初始正射影像 的观 测次数。 6.如权利要求4所述的无人机图像的正射影像实时生成方法， 其特征在于， 所述计算所 述重叠区域的方差， 包括： 根据下式计算所述重 叠区域的方差： 式中， xglobal是全局已有观测值， xnew是初始正射影像 的观测值， n是初始正射影像 的观 测次数， sglobal是全局已有方差 。 7.一种无 人机图像的正 射影像实时生成装置， 其特 征在于， 包括： 实时图像获取模块， 用于获取 无人机实时采集的图像； 特征点匹配模块， 用于提取当前帧图像的若干第 一特征点与 前一帧图像的若干第 二特 征点， 并对若干所述第一特征点与若干所述第二特征点进行特征点匹配， 得到相互匹配的 若干第三特 征点； 初始姿态信息获取模块， 用于根据若干所述第三特征点建立对极几何， 并基于SLAM算 法计算视 觉坐标系下的每一帧图像的初始姿态信息； 关键帧图像获取模块， 用于根据每一帧图像的初始姿态信息， 对每一帧图像进行回环 检测， 得到每一关键帧图像； 初始正射影像生成模块， 用于根据每一关键帧图像的初始姿态信息， 采用最小二乘法 计算视觉坐标系下的每一关键帧图像的最终姿态信息， 以生成每一初始正 射影像； 正射影像实时生成模块， 用于根据每一关键帧图像的最终姿态信 息将每一初始正射影 像进行实时拼接融合， 以实时生成无 人机图像的正 射影像。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序； 其中， 所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如 权利要求1～6任一项所述的无 人机图像的正 射影像实时生成方法。 9.一种无人机图像的正射影像实时生成设备， 其特征在于， 包括处理器、 存储器及存储 在所述存储器中且被配置为由所述处理器执行的计算机程序， 所述处理器执行在执行所述 计算机程序时实现如权利要求1～6任一项所述的无 人机图像的正 射影像实时生成方法。权　利　要　求　书 2/2 页 3 CN 114565863 A 3