(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210955202.6 (22)申请日 2022.08.10 (71)申请人 青岛海信移动通信技 术股份有限公 司 地址 266071 山东省青岛市 市南区江西路 11号 (72)发明人 张培龙　周春萌　朱众微　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 苑琳琳 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/265(2006.01) H04N 5/262(2006.01) H04N 13/204(2018.01)H04N 13/271(2018.01) H04N 13/156(2018.01) H04N 13/106(2018.01) (54)发明名称 前后摄像头拍照融合的方法、 终端设备和存 储介质 (57)摘要 本申请公开了一种前后摄像头拍照融合的 方法、 终端设备和存储介质， 用以解决相关技术 中无法在三维空间的前后摄像头实现融合拍照 的问题。 通过前置摄像头获取人物图像， 并通过 后置摄像头获取背景图像和背景深度图像， 并根 据人像的三维空间坐标、 人物区域系数矩阵和人 物图像， 确定进行图像融合的相关图像融合参 数， 最终， 利用第三人物区域系数矩阵融合人物 图像与背景图像， 得到融合图像。 相较于相关技 术中只能根据设定二维空间中前置摄像头获取 的人像坐标确定相关图像融合参数， 实现了三维 空间的图像融合， 在遮挡关系及人像与周边环境 事物大小比例上更加真实， 融合效果更好， 可 以 人为调整人像与背景的相对距离， 提高了用户的 使用体验。 权利要求书2页 说明书17页 附图12页 CN 115334239 A 2022.11.11 CN 115334239 A 1.一种前后摄 像头拍照融合的方法， 其特 征在于， 所述方法包括： 根据前置摄像头采集的数据确定人物图像， 根据后置摄像头对背景数据的采集， 确定 背景图像及背景深度图像； 对所述人物图像进行 人物区域分割， 得到人物区域系数矩阵； 基于所述背景深度图像， 确定所述人物图像中人物在所述背景图像中的三维空间坐标 并触发融合指令， 所述 三维空间坐标包括深度坐标、 横向坐标和纵向坐标； 响应于融合指令， 对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放， 转换 为在后置摄 像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像； 根据所述人物 的三维空间坐标、 第二人物区域系数矩阵和第二人物图像， 确定将人物 调整到对应的三维空间坐标 所对应的第三人物图像及第三人物区域系数矩阵； 利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像， 得到融合图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述确定背景图像及背景深度图像， 包括： 利用双目的后置摄像头采集两帧背景图像， 基于三角测量原理， 根据所述两帧背景图 像确定背景深度图像； 或者 采用TOF深度后置摄 像头确定背景深度图像， 采用RGB彩色后置摄 像头确定背景图像。 3.根据权利要求1所述的方法， 其特 征在于， 所述缩放比例采用如下 方式确定： 其中， S表示所述缩放比例， f1表示前置摄像头的前置焦距， f2表示后置摄镜头的后置焦 距， z1表示设置的人物在所述背景图像中的深度坐 标， z2表示前置摄像采集 人物图像时人物 距离前置摄 像头的物理距离 。 4.根据权利要求1所述的方法， 其特征在于， 根据第 二人物区域系数矩阵和第 二人物图 像， 确定将人物调整到对应的三维空间坐标 所对应的第三人物图像， 包括： 创建初始的第 三人物图像， 将初始的第三人物图像 中任一位置像素点的值设置为0， 所 述初始的第三人物图的行列数与所述背景图像的行列数相同； 若初始的第三人物图像中任一位置像素点的横坐标不小于x1， 且不大于W2与x1+W1的 较小值， 初始的第三人物图像中任一位置像素点的纵坐标不小于 y1， 且不大于H2与y1+H1的 较小值， 将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位 置的像素点， 得到第三人物图像； 其中， x1表示设置的人物在所述背景图像中的横向坐标， W1表示第二人物图像对应矩 阵的列数， W2表示初始的第三人物图像对应矩阵的列数， y1表示设置的人物在所述背景图 像中的纵向坐标， H1表示所述第二人物图像对应矩阵的行数， H2表示初始的第三人物图像 对应矩阵的行 数。 5.根据权利要求1所述的方法， 其特征在于， 根据所述人物的三维空间坐标、 第二人物 区域系数矩阵和 第二人物图像， 确定将人物调整到对应的三 维空间坐标所对应的第三人物 区域系数矩阵， 包括： 创建初始的第 三人物区域系数矩阵， 将初始的第 三人物区域系数矩阵的值设置为0， 所 述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；权　利　要　求　书 1/2 页 2 CN 115334239 A 2若初始的第 三人物区域系数矩阵中任一位置的元素的横坐标不小于x1， 且不大于W2与 x1+W1的较小值， 初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1， 且不 大于H2与y1+H1的较小值， 以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i, j)， 将所述第二人像区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩 阵同一位置的元 素， 得到第三人物区域系数矩阵； 其中， x1表示设置的人物在所述背景图像中的横向坐标， W1表示第二人物图像对应矩 阵的列数， W2表示初始的第三人物区域系数矩阵的列数， y1表示设置的人物在所述背景图 像中的纵向坐标， H1表示所述第二人物图像对应矩阵的行数， H2表示初始的第三人物区域 系数矩阵的行 数， D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。 6.根据权利要求1所述的方法， 其特征在于， 利用第 三人物区域系数矩阵融合所述第 三 人物图像与所述背景图像， 得到融合图像， 包括： 采用以下公式确定融合图像： P5＝β×P4+(1‑β )×P2 其中， P5表示融合图像， β 表示融合系数， P4表示融合人物图像， P2表示背景图像。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在显示界面上显示融合图像， 及根据背景深度图像确定人物在背景图像中深度坐标的 调整范围对应的空间深度滑动条； 响应于滑动指令， 确定在预设深度 范围调节融合图像中人物距离移动终端后置摄像头 的距离， 得到人物更新后的深度坐标； 响应于拖动指令， 确定在预设区域范围调节融合图像中人物区域的位置， 确定人物更 新后的横向坐标和纵向坐标； 将人物更新后的三维空间坐标作为人物的三维空间坐标， 并重新触发融合指令； 所述 人物更新后的三维空间坐标包括更新后的深度坐标， 横坐标和纵坐标。 8.根据权利要求1所述的方法， 其特征在于， 根据前置摄像头采集的数据确定人物图 像， 包括： 采用前置摄 像头采集原 始人物图像； 采用深度学习重光照模型对背景图像进行处 理， 确定光照位置； 根据所述 光照位置和所述原 始人物图像生成人物图像。 9.一种终端设备， 其特 征在于， 包括： 显示器， 用于 显示所述采集的图像； 存储器， 用于存 储处理器的可 执行指令； 处理器， 用于执行所述可执行指令， 以实现如权利要求1 ‑8中任一项所述的前后 摄像头 拍照融合的方法。 10.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由终 端设备的处理器执行时， 使得所述终端设备能够执行如权利要求1 ‑8中任一项所述的前后 摄像头拍照融合的方法。权　利　要　求　书 2/2 页 3 CN 115334239 A 3