(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054845.X (22)申请日 2022.08.30 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 赵嘉学　文志铭　唐姚懿　刘硕　 管宏云　梁志清　郑兴　刘子骥　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 何筱茂 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/04(2011.01) G06T 7/33(2017.01) G06T 7/32(2017.01)G06T 7/35(2017.01) G06T 7/73(2017.01) G06T 7/579(2017.01) (54)发明名称 一种基于红外可见光融合图像的三维重构 方法 (57)摘要 本发明提供了一种基于红外可见光融合图 像的三维重构方法， 包括对同一视角下拍摄的红 外图片和可见光图片进行图像融合， 输出红外可 见光融合图像； 然后对红外可见光融合融合图片 进行特征点提取及匹配， 再计算与其对应的相机 位姿， 通过最小化重投影误差对相机位姿进行优 化； 之后以红外可见光融合图像和对应相机位姿 为输入， 通过块匹配算法计算每幅图像对应的深 度图和像素点平面法向量图； 最后在深度图融合 模块结合红外可见光融合图像、 深度图和像素点 平面法向图， 输出带红外信息和可见光纹理信息 的三维模型， 本发明可以重构出具有红外可见光 双层信息的三维模型。 权利要求书2页 说明书6页 附图4页 CN 115393519 A 2022.11.25 CN 115393519 A 1.一种基于红外可 见光融合图像的三维重构方法， 其特 征在于， 包括 步骤： S1:对同一视角下拍摄的红外图片和可 见光图片进行图像融合， 包括： 检测可见光图片的轮廓图像， 确定其轮廓图像中的第一特 征集合； 根据所述第 一特征集合确定可见光图片的主方向 以及特征修饰符， 并计算预估比例因 子； 将多组可见光图片的特征修饰符与一组红外图片的特征修饰符进行双边匹配， 根据 所 述比例因子计算出红外图片到可 见光图片的投影 变换矩阵， 输出红外可 见光融合图像； S2： 对红外可见光融合融合图片进行特征点提取及匹配， 将提取出的所述特征点按照 相关性排序生成第二特 征集合， 并在所述第二特 征集合中进行关联排序； 根据所述第二特征集合的排序序列， 再计算与其对应的相机位姿， 并通过最小化重投 影误差对相机位姿 进行优化； S3： 以红外可见光融合图像和对应相机位姿为输入， 通过块匹配算法计算每幅图像对 应的深度图和像素点平面法向量图； S4： 结合红外可见光融合图像、 深度图和像素点平面法向图， 输出带红外信息和可见光 纹理信息的三维模型。 2.根据权利要求1所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 在上述步骤S1中， 红外可见光图片 融合前还分别对可见光图片与红外图片进行预处理， 所 述预处理包括： 对采集到的图像做纹理增强处理， 将采集到的图像格式转换为灰度， 并将其灰度级缩 放到[0,255]的范围内； 将可见光图片的垂直分辨率调整至于红外图片相同， 并根据可见光 图片的原 始图像比例调整水平分辨 率。 3.根据权利要求2所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 在上述步骤S1中， 通过Canny边缘检测器检测可见光图片的轮廓图像， 所述第一特征集合为 可见光图片 轮廓信息中的角点的集， 所述角点由基于局部和全局曲率作为特征点的曲率尺 度空间角点检测器 检测。 4.根据权利要求3所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 根据检测到的所述角点的集， 在轮廓信息中计算对应角点的轮廓方向角， 并将每个对应角 点的轮廓方向角指定为主方向。 5.根据权利要求4所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 对每个点所述角点的尺度不变特征变换描述符进行修正来实现多模态图像的部分强度不 变性； 并提取多尺度采样的原始可见光灰度图像的尺度不变特征变换描述符与 原始红外灰 度图像来估计比例因子； 然后， 将多组可见光灰度图像的尺度不变特征变换描述符与一组红外图片的尺度不变 特征变换描述符进行双边匹配， 并基于多数投票 算法确定比例因子； 采用粗到细匹配方法进行优化， 并根据优化的结果采用最小二乘法计算出红外图片到 可见光图片的投影 变换矩阵。 6.根据权利要求4所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 所述轮廓方向角的计算公式为：权　利　要　求　书 1/2 页 2 CN 115393519 A 2其中， φ为轮廓方向角， 表示第j个轮廓集合中的第f个特征点， 其坐标表示为 表示第j个轮廓集合中左侧距离 特征点最近的特征点坐标， 表示第j个 轮廓集合中右侧距离 特征点最近的特 征点坐标。 7.根据权利要求2所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 在上述步骤S2中， 生成的所述第二特征集合为红外可见光融合图像的真实世界坐标集合， 根据坐标的拟合匹配度进行排序， 然后对相 机位姿进行计算和优化； 所述拟合匹配度为红 外可见光融合图像的重新映射点与原所述第二特征集合中的真实世界坐标集合的位置重 叠程度。 8.根据权利要求5所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 在上述步骤S2中， 跟踪并获取每个相机运动时的正常视角图像， 计算得到每个相机位姿， 生 成位姿集 合， 其中， 每 个所述相机自所述相同坐标位置处独立 运动； 对所述位姿集合中的每一个所述位姿进行优化处理， 生成优化位姿集合； 所述位姿计 算和优化方法如下： 基于红外可见光融合图像的拟合匹配度， 用对极几何理论计算三维空间点坐标； 根据 初始三维空间点坐标最小化重投影误差优化相机位姿； 所述最小化重投影误差为红外可见 光融合图像重新映射点在图像中的位置和在真实世界坐标集合中原来的位置的两点的距 离表征。 9.根据权利要求1所述的一种基于红外可见光融合图像的三维重构方法， 其特征在于， 在上述步骤S4中， 深度图和法向量图获取 方法如下： 对每幅红外可 见光融合图像随机初始化深度图和法向量图； 从深度图和法向量图的左上至右下 方向把每 个像素点单应映射到相邻视角图像； 计算像素对应图像块的代价 值， 并反复迭代， 输出深度图和法向量图。 10.根据权利要求9所述的一种基于红外可见光融合图像的三维重构方法， 其特征在 于， 还包括对相邻的所述深度图做一致性检查， 对于任意所述深度图的每个像素点， 计算其 深度值与其相 邻图像中对应匹配像素点的深度值之差， 对差值在预设值之外的像素点视为 被遮挡的无效像素点； 基于所述无效像素点搜索其左侧和右侧的最近有效像素的深度值和 平面， 单应映射后计算两窗口的归一化互相关值， 取归一化互相关值更优的深度值和平面 进行填充； 最后对每幅深度图做中值滤波， 输出对应的可靠深度图。权　利　要　求　书 2/2 页 3 CN 115393519 A 3