(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210125786.4 (22)申请日 2022.02.10 (71)申请人 北京箩筐时空数据技 术有限公司 地址 100020 北京市朝阳区光 华路9号SOHO 二期B座B9- 6 (72)发明人 孟石　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 贾依娇 (51)Int.Cl. G06T 7/55(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) G06V 10/44(2022.01) (54)发明名称 相机位姿 预测方法及 装置、 存储介质和计算 机设备 (57)摘要 本申请公开了一种相机位姿预测方法及装 置、 存储介质和计算机设备， 方法包括： 获取目标 场景的图像以及图像的深度值， 其中， 图像由目 标相机拍摄； 利用预设的场景流预测网络处理图 像以及深度值， 得到目标场景的场景流估计； 根 据场景流估计， 计算目标相机对应的相机位姿。 本申请的方法操作简单且预测精准度较高。 权利要求书2页 说明书10页 附图7页 CN 114565656 A 2022.05.31 CN 114565656 A 1.一种相机位姿预测方法， 其特 征在于， 所述方法包括： 获取目标场景的图像以及所述图像的深度值， 其中， 所述图像由目标相机拍摄； 利用预设的场景流预测网络处理所述图像以及所述深度值， 得到所述目标场景的场景 流估计； 根据所述场景流估计， 计算所述目标相机对应的相机位姿。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述场景流估计， 计算所述目标 相机对应的相机位姿， 具体包括： 确定所述目标场景中的移动目标以及静止目标， 并分离所述场景流估计， 得到与所述 移动目标对应的前 景估计以及与所述静止目标对应的背景估计； 根据所述背景估计确定背景位姿矩阵， 并确定所述背景位姿矩阵的逆矩阵为所述相机 位姿对应的相机位姿矩阵。 3.根据权利要求1所述的方法， 其特征在于， 所述获取目标场景的图像以及所述图像的 深度值， 具体包括： 获取所述目标相机拍摄的两帧图像， 其中， 所述两帧图像之间的拍摄间隔时长满足预 设时长约束； 判断所述目标相机是否具有深度值获取装置； 若没有， 则利用预设的深度预测网络处理所述图像， 估计所述图像中每个像素点的深 度值； 若有， 则利用所述深度值获取装置获取 所述每个像素点的深度值。 4.根据权利要求3所述的方法， 其特征在于， 所述利用预设的深度 预测网络处理所述图 像， 估计所述图像中每 个像素点的深度值， 具体包括： 对所述两帧图像进行卷积处理， 得到第 一帧图像的第 一特征图以及第 二帧图像的第 二 特征图； 根据所述第 一帧图像以及所述第 二帧图像确定所述目标相机的位姿变换关系， 并根据 所述位姿变换关系扭曲所述第一特 征图以及所述第二特 征图； 确定所述第 一特征图与第 二特征图中对应的特征点之间的距离， 根据 所述距离计算所 述深度值以及所述深度值对应的置信度， 并构建深度图。 5.根据权利要求1所述的方法， 其特征在于， 所述利用预设的场景流预测网络处理所述 图像以及所述深度值， 得到所述目标场景的场景流估计， 具体包括： 提取所述图像的第 一特征以及所述深度图的第 二特征， 并根据 所述第一特征以及所述 第二特征之间的关联关系构建连接特 征块； 利用预设的门控循环单 元迭代处 理所述连接特 征块， 得到所述场景流估计。 6.根据权利要求4所述的方法， 其特征在于， 所述利用预设的场景流预测网络处理所述 图像以及所述深度值， 得到所述目标场景的场景流估计之前， 还 包括： 分别判断每 个所述像素点的置信度是否属于预设置信区间； 若不属于， 则在所述图像中剔除所述像素点， 并重新获取目标场景的图像。 7.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 根据所述深度值计算第一预设误差函数对应的第一 函数值； 根据所述第一 函数值调整所述预设的深度预测网络的参数；权　利　要　求　书 1/2 页 2 CN 114565656 A 2和/或， 根据所述目标场景中物体的位姿变换计算第二预设误差函数对应的第二 函数值； 根据所述第二 函数值调整所述预设的场景流预测网络的参数。 8.一种相机位姿预测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取目标场景的图像以及所述图像的深度值， 其中， 所述图像由目标相 机拍摄； 场景流估计模块， 用于利用预设的场景流预测网络处理所述图像以及所述深度值， 得 到所述目标场景的场景流估计； 位姿预测模块， 用于根据所述场景流估计， 计算所述目标相机对应的相机位姿。 9.一种存储介质， 其上存储有程序或指令， 其特征在于， 所述程序或指令被处理器执行 时实现如权利要求1至7中任一项所述的方法的步骤。 10.一种电子设备， 包括存储介质、 处理器及存储在存储介质上并可在处理器上运行的 计算机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至7中任一项所述的 方法。权　利　要　求　书 2/2 页 3 CN 114565656 A 3