(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314567.7 (22)申请日 2022.10.26 (71)申请人 中国航发四川燃气涡轮 研究院 地址 610500 四川省成 都市新都区新都学 府路999号 (72)发明人 方弘毅　王登奎　杨明　邹远禄　 杨上峰　张帅　陈涛　 (74)专利代理 机构 北京清大紫荆知识产权代理 有限公司 1 1718 专利代理师 秦亚群 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多尺度信息的立体匹配网络及立体匹 配方法 (57)摘要 本发明提供了一种基于多尺度信息的立体 匹配网络及立体匹配方法， 立体匹配网络包括金 字塔编码器、 特征体构造模块、 视差生成约束模 块、 特征体解码器。 其中金字塔编码器包括两组 带有跳层连接的编码器 ‑解码器模块； 特征体解 码器内设有多个解码器模块， 所述解码器模块输 出端连接有多尺度特征自适应融合模块， 所述多 尺度特征自适应融合模块输出两个红外图像融 合后的立体图像。 本发明设计的立体匹配网络及 立体匹配方法， 解决红外成像存在可用信息少， 大面积弱纹 理、 无纹理的问题。 权利要求书2页 说明书6页 附图1页 CN 115375930 A 2022.11.22 CN 115375930 A 1.一种基于多尺度信息的立体匹配网络， 其特 征在于， 包括： 金字塔编码器， 所述金字塔编码器包括两组带有跳层连接的编码器 ‑解码器模块； 特征体构造模块， 所述特征体构造模块的输入端与所述金字塔编码器连接， 输出端与 特征体解码器的输入端连接； 视差生成约束模块， 所述视差生成约束模块的输入端与所述金字塔编码器连接， 输出 端与特征体解码器的输入端连接； 所述特征体解码器内设有多个解码器模块， 所述解码器模块输出端连接有多尺度 特征 自适应融合模块， 所述多尺度特 征自适应融合模块输出两个红外图像融合后的立体图像。 2.根据权利要求1所述的基于多尺度信 息的立体匹配网络， 其特征在于： 带有跳层连接 的编码器 ‑解码器模块包括卷积层、 池化层、 残差层； 所述卷积层提取红外图像的浅层特 征， 并输出红外图像的1/4尺寸特 征图像； 所述池化层与所述卷积层连接， 所述池化层将1/4尺寸特征图像还原为红外图像的大 小并输出至所述残差层； 所述残差层与所述池化层连接， 所述残差层包括4个依次连接的残差块， 所述残差层对 所述池化层输出的图像提取高级 特征， 并依次输出 红外图像的1/8尺 寸特征图像、 1/16尺 寸 特征图像、 1/ 32尺寸特征图像、 1/ 64尺寸特 征图像； 所述池化层对所述残差层输出的1/8尺寸特征图像、 1/16尺寸特征图像、 1/32尺寸特征 图像、 1/64尺寸特 征图像进行整合后输出 上下文信息 。 3.根据权利要求2所述的基于多尺度信 息的立体匹配网络， 其特征在于： 所述特征体构 造模块与所述残差层中最末端的所述残差块连接， 将最末端的所述残差块输出的1/64尺 寸 特征图像， 依据上下文信息和预定义的视差范围， 将两个红外图像的1/64尺寸特征图像之 间的差异作为比配代价， 构建并输出1/8尺寸3D特征体、 1/16尺寸3D特征体、 1/32尺寸3D特 征体、 1/64尺寸3D特 征体。 4.根据权利要求3所述的基于多尺度信 息的立体匹配网络， 其特征在于： 所述视差生成 约束模块包括4个依 次连接的视差注意力模块， 且所述视差注意力模块与所述残差块一一 对应并连接； 所述视差注意力模块对与其连接的各所述残差块输出的尺寸特征图像， 利用门控自适 应方法进行红外图像降噪及成像一致性调整， 对1/8尺寸3D特征体、 1/16尺寸3D特征体、 1/ 32尺寸3D特征体、 1/64尺寸3D特征体增加特征通道维度， 输出1/8尺寸4D特征体、 1/16尺寸 4D特征体、 1/32尺寸4D特征体、 1/64尺寸4D特征体。 5.根据权利要求4所述的基于多尺度信 息的立体匹配网络， 其特征在于： 每一个3D特征 体均包含3个维度， 分别为长度、 宽度、 视 差。 6.根据权利要求5所述的基于多尺度信 息的立体匹配网络， 其特征在于： 所述解码器模 块有3个， 第一个所述 解码器模块输入修 正后1/64尺寸4D特征体， 输出解码后特 征； 第二个所述解码器模块与第 一个所述解码器模块连接， 输入第 一个所述解码器模块输 出的解码后特 征， 以及1/ 32尺寸4D特征体， 输出解码后特 征； 第三个所述解码器模块与第 二个所述解码器模块连接， 输入第 二个所述解码器模块输 出的解码后特 征， 以及修 正后1/16尺寸 4D特征体， 输出解码后特 征； 所述多尺度特征自适应融合模块对3个所述解码器模块输出的解码后特征进行融合，权　利　要　求　书 1/2 页 2 CN 115375930 A 2并输出两个红外图像融合后的立体图像。 7.一种基于多尺度信息的立体匹配方法， 其特 征在于， 包括以下步骤： S1、 提取并输出两个红外图像的多尺度特 征图像； S2、 依据多尺度 特征图像 中最小尺寸特征图像， 并按照预先定义的视差范围， 计算两个 最小尺寸特征图像的差异作为比配代价， 构建并输出1/8尺寸3D特征体、 1/16尺寸3D特征 体、 1/32尺寸3D特 征体、 1/64尺寸3D特 征体； S3、 对步骤S2中各3D特征体增加特征通道维度， 构建并输出各尺寸3D特征体的4D特征 体； S4、 对4D特 征体进行解码， 输出两个红外图像融合后的立体图像。 8.根据权利要求7所述的基于多尺度信 息的立体匹配方法， 其特征在于， 多尺度 特征图 像为4个尺度特征图像， 包括红外图像的1/8尺 寸特征图像、 1/16尺 寸特征图像、 1/32尺 寸特 征图像、 1/64尺 寸特征图像， 且步骤S1中， 提取并输出两个红外图像的多尺度特征图像的方 法， 包括： S101、 分别提取两个红外图像的浅层特 征， 并将红外图像编码为1/4特 征尺寸图像； S102、 将1/4特 征尺寸图像经池化层还原为与原红外图像大小相同的图像； S103、 将步骤S102的图像输入4个步幅为2的残差块提取高级特征， 分别编码为1/8尺寸 图像、 1/16尺寸图像、 1/ 32尺寸图像、 1/ 64尺寸图像； S104、 将1/8尺寸图像、 1/16尺寸图像、 1/32尺寸图像、 1/64尺寸图像输入池化层中整合 后输出上下文信息； S105、 对1/8尺寸图像、 1/16尺寸图像、 1/32尺寸图像、 1/64尺寸图像分别解码， 并融合 步骤S104中的上下文信息， 输出1/8尺 寸特征图像、 1/16尺寸特征图像、 1/32尺 寸特征图像、 1/64尺寸特 征图像。 9.根据权利要求8所述的基于多尺度信息的立体匹配方法， 其特征在于： 步骤S3中， 各 3D特征体增加特征通道维度的方法为： 采用门控自适应方法对1/8尺 寸3D特征体、 1/16尺 寸 3D特征体、 1/32尺 寸3D特征体、 1/64尺寸3D特征体进行红外图像降噪及成像一致性调整， 对 各尺寸3D特 征体增加特征通道维度后输出 各尺寸3D特 征体的4D特 征体。 10.根据权利要求9所述的基于多尺度信息的立体匹配方法， 其特征在于： 步骤S4中， 4D 特征体解码的方法包括： S401、 第一个所述 解码器模块输入1/ 64尺寸4D特征体， 输出解码后特 征； S402、 第二个所述解码器模块与第一个所述解码器模块连接， 输入第一个所述解码器 模块输出的解码后特 征， 以及1/ 32尺寸4D特征体， 输出解码后特 征； S403、 第三个所述解码器模块与第二个所述解码器模块连接， 输入第二个所述解码器 模块输出的解码后特 征， 以及1/16尺寸 4D特征体， 输出解码后特 征； S404、 对步骤S401~S403中输出的解码后特征进行融合， 输出两个红外图像融合后的立 体图像。权　利　要　求　书 2/2 页 3 CN 115375930 A 3