(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028126.0 (22)申请日 2022.08.25 (71)申请人 阿里巴巴达摩院 （杭州） 科技有限公 司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 李蒙　王森博　盛哲　董子龙　 谭平　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06T 7/50(2017.01) G06T 17/00(2006.01) G06N 3/04(2006.01) (54)发明名称 全景图像处 理方法及装置 (57)摘要 本说明书实施例提供全景图像处理方法及 装置， 该方法包括将目标全景图像输入图像处理 模型， 通过所述图像处理模型的编码层， 获得所 述目标全景图像的全景图像特征； 根据全景图球 面转换算法， 将所述全景图像特征转换为球面图 像编码特征； 将所述球面图像编码特征输入所述 图像处理模 型的解码层， 通过所述解码层获得所 述目标全景图像的球面深度图像； 根据所述全景 图球面转换算法， 将所述球面深度图像转换为所 述目标全景图像的全景深度图像。 该方法通过采 用图像处理模 型获得全景图像的深度图像， 无需 额外仪器设备节省成本； 并且在球面上运行专门 为球面设计的图像处理模型， 解决了全景图像由 ERP投影过程产生的畸变， 提高了全景图像的深 度图像的获取准确性。 权利要求书3页 说明书17页 附图7页 CN 115526923 A 2022.12.27 CN 115526923 A 1.一种全景图像处 理方法， 包括： 将目标全景图像输入图像处理模型， 通过所述图像处理模型的编码层， 获得所述目标 全景图像的全景图像特 征； 根据全景图球面 转换算法， 将所述全景图像特 征转换为球面图像编码特 征； 将所述球面图像编码特征输入所述图像处理模型的解码层， 通过所述解码层获得所述 目标全景图像的球面深度图像； 根据所述全景图球面转换算法， 将所述球面深度图像转换为所述目标全景图像的全景 深度图像， 其中， 所述图像处 理模型为神经网络模型。 2.根据权利要求1所述的全景图像处理方法， 所述将所述球面图像编码特征输入所述 图像处理模型的解码层， 通过 所述解码层获得 所述目标全景图像的球面深度图像， 包括： 将所述球面图像编码特征输入所述图像处理模型的解码层， 通过所述解码层获得所述 目标全景图像的球面图像解码特 征； 根据所述球面图像编码特征以及所述球面图像解码特征， 获得所述目标全景图像的球 面深度图像。 3.根据权利要求2所述的全景图像处理方法， 所述根据所述球面图像编码特征以及所 述球面图像解码特 征， 获得所述目标全景图像的球面深度图像， 包括： 将所述球面图像编码特征以及所述球面图像解码特征， 通过跳跃连接的方式进行特征 叠加； 根据叠加后的所述球面图像编码特征以及所述球面图像解码特征， 获得所述目标全景 图像的球面深度图像。 4.根据权利要求2所述的全景图像处理方法， 所述根据所述球面图像编码特征以及所 述球面图像解码特 征， 获得所述目标全景图像的球面深度图像， 包括： 将所述球面图像编码特征以及所述球面图像解码特征， 通过所述解码层的交叉注意力 机制融合模块进行注意力计算， 获得所述球面图像编码特征 的修正量、 以及所述球面图像 解码特征的修正量； 根据所述球面图像编码特征的修正量、 所述球面图像解码特征的修正量、 所述球面图 像编码特 征以及所述球面图像解码特 征， 获得所述目标全景图像的球面深度图像。 5.根据权利要求4所述的全景图像处理方法， 所述根据所述球面图像编码特征的修正 量、 所述球面图像解码特征的修正量、 所述球面图像编 码特征以及所述球面图像解码特征， 获得所述目标全景图像的球面深度图像， 包括： 根据所述球面图像编码特征的修正量、 以及所述球面图像解码特征的修正量， 将所述 球面图像编码特 征以及所述球面图像解码特 征， 通过跳跃 连接的方式进行 特征叠加； 根据叠加后的所述球面图像编码特征以及所述球面图像解码特征， 获得所述目标全景 图像的球面深度图像。 6.根据权利要求3或5所述的全景图像处理方法， 所述将所述球面图像编码特征以及所 述球面图像解码特 征， 通过跳跃 连接的方式进行 特征叠加， 包括： S2、 将通过第i个编码层获得的球面 图像编码特征、 与通过第j个解码层获得的球面图 像解码特 征， 通过跳跃 连接的方式进行 特征叠加， 其中， 所述第i个编码层的初始层为第一层， 所述第j个解码层的初始层为 最后一层；权　利　要　求　书 1/3 页 2 CN 115526923 A 2S4、 判断所述第i个编码层是否为最后一个编码层， 以及所述第j个解码层是否为第一 个解码层， 若否， 则将i自增1， 将 j减1， 继续执 行步骤S2。 7.根据权利要求1所述的全景图像处理方法， 所述将目标全景图像输入图像处理模型 之前， 还包括： 获取通过全景拍摄设备拍摄的目标对象的目标全景图像； 或者 获取所述目标对象的至少两张初始平面图像， 根据 预设图像融合算法将所述至少两张 初始平面图像进行融合， 获得 所述目标对象的目标全景图像。 8.根据权利要求7所述的全景图像处理方法， 所述根据所述全景图球面转换算法， 将所 述球面深度图像转换为所述目标全景图像的全景深度图像之后， 还 包括： 根据所述目标全景图像的全景深度图像， 对所述目标对象进行三维模型构建。 9.根据权利要求1所述的全景图像处理方法， 所述将目标全景图像输入图像处理模型 之后， 还包括： 获得所述图像处 理模型输出的所述目标全景图像的全景深度图像； 相应地， 所述图像处 理模型的训练步骤如下 所述： 确定样本全景图像， 以及所述样本全景图像对应的样本全景深度图像； 将样本全景图像输入图像处理模型， 通过所述图像处理模型的编码层， 获得所述样本 全景图像的样本全景图像特 征； 根据所述全景图球面转换算法， 将所述样本全景图像特征转换为样本球面图像编码特 征； 将所述样本球面图像编码特征输入所述图像处理模型的解码层， 通过所述解码层获得 所述样本全景图像的样本球面深度图像； 根据所述全景图球面转换算法， 将所述样本球面深度图像转换为所述样本全景图像的 预测全景深度图像； 根据所述样本全景深度图像、 以及所述预测全景深度图像调 整所述图像处理模型的损 失函数， 实现对所述图像处 理模型的训练。 10.一种全景图像处 理装置， 包括： 全景特征确定模块， 被配置为将目标全景图像输入图像处理模型， 通过所述图像处理 模型的编码层， 获得 所述目标全景图像的全景图像特 征； 编码特征确定模块， 被配置为根据全景图球面转换算法， 将所述全景图像特征转换为 球面图像编码特 征； 球面深度图像确定模块， 被配置为将所述球面图像编码特征输入所述图像处理模型的 解码层， 通过 所述解码层获得 所述目标全景图像的球面深度图像； 全景深度图像确定模块， 被配置为根据所述全景图球面转换算法， 将所述球面深度图 像转换为所述目标全景图像的全景深度图像， 其中， 所述图像处 理模型为神经网络模型。 11.一种全景图像处 理方法， 包括： 响应于用户的全景图像处 理请求， 向所述用户展示图像输入界面； 接收所述用户通过 所述图像输入界面输入的目标全景图像； 将目标全景图像输入图像处理模型， 通过所述图像处理模型的编码层， 获得所述目标权　利　要　求　书 2/3 页 3 CN 115526923 A 3