(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211275720.X (22)申请日 2022.10.18 (71)申请人 广州大学 地址 510006 广东省广州市外环西路23 0号 (72)发明人 杨红　梁必发　黄锦皓　刘成　 (74)专利代理 机构 北京八月瓜知识产权代理有 限公司 1 1543 专利代理师 秦莹 (51)Int.Cl. G06T 7/55(2017.01) G06T 3/40(2006.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于分组混合的两阶段实时双目深度估计 方法及装置 (57)摘要 本说明书实施例提供了一种基于分组混合 的两阶段实时双目深度估计方法及装置， 其中， 方法包括： 对原始输入图像进行特征提取， 获得 相对于原始 输入图像1/4和1/8分辨率的特征图； 使用1/8分辨率的特征图构建分组距离代价量， 得到聚合后的匹配代价量， 进一步得到第一阶段 视差图； 将1/8分辨率的粗估计视差图放大成1/4 分辨率视差图， 构建分组相关代价量， 生成1/4 分 辨率精估计的视差图， 并进一步得到第二阶段视 差图； 基于第一阶段视差图和第二阶段视差图， 使用Adam优化器对损失函数进行模型优化， 得到 优化模型， 使用Ten sorRT优化器对优 化模型的网 络层进行推理加速 。 权利要求书3页 说明书9页 附图3页 CN 115546279 A 2022.12.30 CN 115546279 A 1.一种基于分组混合的两阶段实时双目深度估计方法， 其特 征在于， 包括： 利用基于切块卷积的特征提取器对原始输入图像进行特征提取， 获得相对于原始输入 图像1/4和1/8分辨 率的特征图； 使用1/8分辨率的特征图构建分组距离代价量， 通过轻量化的代价聚合网络对所述分 组距离代价量进行正则化处理， 得到聚合后的匹配代价量， 将聚合后的匹配代价量通过视 差回归生 成1/8分辨率的粗估计视差图， 并通过双线性插值上采样成全尺寸， 得到第一阶段 视差图； 将所述1/8分辨率的粗估计视差图放大成1/4分辨率视差图， 根据所述1/4分辨率视差 图和左图特征进 行动态偏移 量构建分组相关代价量， 将所述分组相关代价量通过代价聚合 网络和视差回归获得一个残差图， 将所述残差图添加到放大的1/4分辨率视差图中， 生成1/ 4分辨率精估计的视 差图， 并通过双线性插值上采样成全尺寸， 得到第二阶段视 差图； 基于第一阶段视差图和第二阶段视差图， 使用Adam优化器对损失函数进行模型优化， 得到优化模型， 使用TensorRT优化器对 优化模型的网络层进行推理加速 。 2.根据权利要求1所述的方法， 其特征在于， 利用基于切块卷积的特征提取器对原始输 入图像进行 特征提取， 获得相对于原 始输入图像1/4和1/8分辨 率的特征图具体包括： 利用基于切块卷积的特征提取器， 首先使用切块卷积将原始输入图像逐级下采样到1/ 2分辨率、 1/4分辨率和1/8分辨率， 然后对1/4分辨率和1/8分辨率的特征实施深程度的特征 提取， ， 获得相对于原 始输入图像1/4和1/8分辨 率的特征图。 3.根据权利要求1所述的方法， 其特征在于， 使用1/8分辨率的特征图构建分组距离代 价量具体包括： 根据公式1， 使用1/8分辨 率的特征图构建 分组距离代价 量： 其中||·‑·||1表示计算两个 特征之间的L1距离， Cgwd表示输入图片中像 素点相似度的 分组距离代价值， d表示视差， x和y表示 特征向量， g表示 特征组的编号， fl和fr分别表示左图 特征和右图特 征。 4.根据权利要求1所述的方法， 其特征在于， 根据所述1/4分辨率视差图和左图特征进 行动态偏移量构建 分组相关代价 量具体包括： 基于公式2， 根据 所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价 量： 其中， <·，·>表示计算两个特征之间的内积， Cgwc表示输入图片中像素点相似度的分 组相关代价值， d表示视差， x和y表示特征向量， ， g表示特征组的编号， fl和fr分别表示左图 特征和右图特 征。 5.根据权利要求1所述的方法， 其特征在于， 所述轻量化的代价聚合网络包括： 四个卷 积核大小为5×5×5的三维卷积层， 其中， ， 第一个5 ×5×5的三维卷积用于提高成本量的维 度， 第二个和第三个5 ×5×5的三维卷积用于优化成本量， 第四个5 ×5×5的三维卷积层用 于降低成本量的维度。 6.根据权利要求1所述的方法， 其特征在于， 将聚合后的匹配代价量通过视差回归生成权　利　要　求　书 1/3 页 2 CN 115546279 A 21/8分辨率的粗估计视差图， 并通过双线性插值上采样成全尺寸， 得到第一阶段视差图具体 包括： 基于公式3， 利用代价聚合网络优化后的匹配代价量进行视差回归， 得到1/8分辨率的 粗估计视 差图， 并通过双线性插值上采样成全尺寸， 得到第一阶段视 差图： 其中， M表示最大视差， 第一阶段的最大视差M为24， d表示视差， Ci(d')和Ci(d)分别表示 当前像素i中的视 差级别为d'和d的代价 值。 7.根据权利要求1所述的方法， 其特征在于， 基于第一阶段视差 图和第二阶段视差 图， 使用Adam优化器对损失函数进行优化模型 具体包括： 使用Adam优化器对公式4 ‑6所示的损失函数进行优化； 其中， 其中， x为输入变量， d为视差估计值， 为同一像素处的地面真实视差， N为候选视差的 数量， 和 分别为第一阶段和第二阶段的损失函数， 第一阶段和第二阶段联合训 练的损失权 重系数不同， 第一阶段的权 重系数为 λ1＝0.5， 第二阶段的权 重系数为 λ2＝0.7。 8.一种基于分组混合的两阶段实时双目深度估计装置， 其特 征在于， 包括： 提取模块， 用于利用基于切块卷积的特征提取器对原始输入图像进行特征提取， 获得 相对于原 始输入图像1/4和1/8分辨 率的特征图； 第一阶段视差图模块， 用于使用1/8分辨率的特征图构建分组距离代价量， 通过轻量化 的代价聚合网络对所述分组距离代价量进行正则化处理， 得到聚合后的匹配代价量， 将聚 合后的匹配代价量通过视差回归生成1/8分辨率的粗估计视差图， 并通过双线性插值上采 样成全尺寸， 得到第一阶段视 差图； 第二阶段视差图模块， 用于将所述1/8分辨率的粗估计视差图放大成1/4分辨率视差 图， 根据所述 1/4分辨率视差图和左图特征进 行动态偏移 量构建分组相关代 价量， 将所述分 组相关代价量通过代价聚合网络和视差回归获得一个残差图， 将所述残差图添加到放大的 1/4分辨率视差图中， 生 成1/4分辨率精估计的视差图， 并通过双线性插值上采样成全尺寸， 得到第二阶段视 差图； 优化推理模块， 用于基于第一阶段视差图和第二阶段视差图， 使用Adam优化器对损失 函数进行模型优化， 得到优化模型， 使用TensorRT优化器对优化模型的网络层进行推理加 速。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1至7 中任一项所述的基于分组混合的两阶段实时双目深度估计方法的步骤。权　利　要　求　书 2/3 页 3 CN 115546279 A 3