(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210380855.6 (22)申请日 2022.04.10 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 颜波　马晨曦　谭伟敏　周诗力　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) (54)发明名称 一种近红外图像指导的跨模态立体图像超 分辨率重构方法 (57)摘要 本发明属于图像编辑技术领域， 具体为一种 近红外图像指导的跨模态立体图像超分辨率重 构方法。 本发明包括： 采用跨视角匹配模块提取 立体图像不同模态的左右图间的视差， 再根据视 差将右视角的近红外图像对齐到左视角； 图像超 分辨率重构网络采用两个网络分支分别提取立 体图像左右图的特征； 采用跨模态特征迁移模块 融合左右图特征； 在重构立体图像左视角的可见 光模态的图像时， 利用该可见光模态的图像空间 信息， 结合对应右视角的近红外图像包含的丰富 细节来辅助左图的超分过程， 从而生成更多的 图 像中的高频细节纹理、 恢复出更真实的高分辨率 图像。 实验结果表明， 本发明可 以有效提高可见 光模态图像的分辨率、 提升图像的主观视觉效果 以及客观准确度。 权利要求书3页 说明书6页 附图2页 CN 114782248 A 2022.07.22 CN 114782248 A 1.一种近红外图像指导的跨模态立体图像超分辨率重构方法， 其特征在于， 针对多相 机跨光谱成像系统的低分辨率可见光图像， 通过构建图像超分辨率重构卷积神经网络， 同 时利用跨模态和跨视角的图像信息来增强多相机跨光谱成像系统中的图像分辨率， 重构高 质量的高分辨 率可见光图像， 具体步骤如下： (1)跨视角匹配： 将低分辨率立体图像的不同模态的左视图和右视图Ileft,NIRright一同输入到跨视角匹 配模块(CVM)， 进行跨视角匹配； 将不同模态的左右视图对齐到同一视角， 即将右视角的近 红外图像对齐到左视角， 得到右视角图像对齐到左视角的结果 NIRleft， 表示为： NIRleft＝CVM(Ileft,NIRright)；       (1) (2)左右图超分特 征提取： 将低分辨率左视图和对齐到左视角的右视图分别输入构建的图像超分辨率重构卷积 神经网络模型 的两个超分分支， 其中， 利用一个卷积层和残差块来表示提取 的不同模态视 图的图像超分特 征 表示为： (3)左右视图特 征融合： 将提取的左视图的可见光模态图像特征和右视图的近红外模态的图像特征 输 入到跨模态特征迁移(CMFT)模块中， 进行跨模态特征迁移； 融合不同模态的图像信息得到 了新的图像特征 将近红外 图像信息通过特征融合有效传递给可见光图像特征， 使融 合了近红外模态图像信息的特征生成更丰富的可见光图像模态的纹理等细节信息， 表示 为； (4)左右视图超分： 分别将融合了不同模态的图像特征 和近红外图像特征 输入两个超分分支的卷 积层和残差块中， 得到新的图像特征 并将其再次输入跨模态特征迁移模块； 重复 上述跨模态特征迁移模块以及卷积层和残差块的计算， 得到最终融合了不同模态信息的图 像特征 和近红外模态图像特征 最后， 使用一个卷积层和反卷积层的计算， 分别得 到超分后的左视角的可见光图像 以及超分后的左视角的近红外图像 其中融合了 近红外图像信息的特 征有助于可 见光图像恢复出 更丰富的纹 理细节信息， 表示 为； 2.根据权利要求1所述的近红外图像指导的跨模态立体图像超分辨率重构方法， 其特 征在于， 步骤(1)所述的进行跨视角匹配的具体流 程为： 首先， 将低分辨率的跨模态立体图像送入一个跨模态视差预测网络(DPN)， 输出一个跨 模态视差disparity， 表示 为：权　利　要　求　书 1/3 页 2 CN 114782248 A 2disparity＝D PN(NIRright)，             (5) 其次， 根据该视差将右视角的近红外 图像对齐到左视角， 得到的左视角的近红外 图像 NIRleft， 表示为： NIRleft＝Warp(NIRright,disparity)，        (6) 图像对齐的方法： 将右视角的近红外图像NIRright中每个像素点(i,j)根据视差图中对 应位置的视 差值进行 水平偏移， 对齐到左视角得到左视角的近红外图像N IRleft： NIRleft(i,j)＝NIRright(i,y‑disparity(i,j) )，   (7)。 3.根据权利要求2所述的近红外图像指导的跨模态立体图像超分辨率重构方法， 其特 征在于， 步骤(3)所述的进行跨模态特 征迁移的具体流 程为： 首先， 使用一个卷积层根据输入的可见光图像特征fVIS计算一个空间权重图ws来表示可 见光图像中 需要增强的空间区域： ws＝Conv(fVIS)，                      (8) 其次， 学习一个通道维度的权重向量wc来为不同模态的 图像特征赋予不同重要性； 具体 是通过将近红外图像特征fNIR和可见图像特征fVIS级联起来， 并使用一个全局平均池化层、 卷积层和Sigmoid激活层来学习权重wc； 然后， 将wc拆分成两个相同维度的向量wc1,wc2， 分别 用于重新调整图像特 征fNIR和fVIS的特征值范围， 表示 为： 最后， 利用空间权重图ws和通道权重向量wc1,wc2加权结合fNIR和fVIS， 得到融合了近红外 模态图像信息的可 见光图像特 征fVIS'， 算式为： fVIS'＝ws×wc1×fNIR+ws×wc2×fVIS，       (10)。 4.根据权利要求3所述的近红外图像指导的跨模态立体图像超分辨率重构方法， 其特 征在于， 步骤(4)所述需要迭代 跨模态特征迁移模块以及卷积层和残差块的计算， 具体步骤 为： 首先， 将图像超分辨率重构卷积神经网络经过步骤(3)提取到的可见光图像特征 和 近红外图像特征 输入跨模态特征迁移模块， 得到融合了不同模态信息的图像特征 表示为： 然后， 使用一个卷积层和一个残差块计算分别处理 和 得到新的可见光图像特 征 和近红外图像特征 并将其输入跨模态特征迁移模块， 输出图像特征 表示 为： 将本步骤重复执行1次， 得到最终融合了不同模态信息的图像特征 和近红外模态图 像特征 分别表示 为：权　利　要　求　书 2/3 页 3 CN 114782248 A 3