(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210794566.0 (22)申请日 2022.07.05 (71)申请人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学清华园北京 100084-82信箱 (72)发明人 刘云新　李元春　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 沈军 (51)Int.Cl. H04N 5/222(2006.01) H04N 5/225(2006.01) H04N 5/232(2006.01) (54)发明名称 基于焦距等效和帧流同步的双摄像头深度 估计方法和装置 (57)摘要 本发明涉及一种基于焦距等效和帧流同步 的双摄像头深度估计方法和装置， 包括： 根据迭 代FoV裁剪技术， 对所述双摄像头进行焦 距等效； 基于预设丢帧阈值， 对所述异构摄像头进行帧流 同步； 利用焦距等效和帧流同步后的双摄像头， 对目标图像进行深度估计。 本发 明采用迭代视场 裁剪方式， 同步移动设备上两个摄像头的焦距， 以实现精确的极线矫正。 同时， 对移动设备上两 个摄像头捕捉的帧流进行同步， 避免移动物体于 同一时刻在两个摄像头上的帧间位移。 在此基础 上， 利用焦 距等效和帧流同步后的双摄像头对目 标图像进行深度估计， 可降低深度估计的误差 。 权利要求书2页 说明书9页 附图3页 CN 115396566 A 2022.11.25 CN 115396566 A 1.一种基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征在于， 所述双摄像 头为置于移动设备 上的异构摄 像头， 所述方法包括： 根据迭代FoV裁 剪技术， 对所述双摄 像头进行焦距等效； 基于预设丢帧阈值， 对所述异构摄 像头进行帧流同步； 利用焦距等效和帧流同步后的双摄 像头， 对目标图像进行深度估计。 2.根据权利要求1所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 所述 根据迭代FoV裁 剪技术， 对所述双摄 像头进行焦距等效， 包括： 利用所述双摄 像头， 采集K对棋盘 格图像； 滤除所述K对棋盘格图像中重投影误差大于预设重投影误差阈值的图像对， 并将剩余 的图像对作为原 始图像对； 根据迭代FoV裁 剪技术以及所述原 始图像对， 确定 裁剪因子； 利用所述裁剪因子， 对所述双摄像头中宽视场摄像头进行数字变焦， 以使所述双摄像 头的焦距等效； 其中， 所述K为第一预设值。 3.根据权利要求2所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 所述 根据迭代FoV裁 剪技术以及所述原 始图像对， 确定 裁剪因子， 包括： 步骤A： 初始化裁 剪因子； 步骤B： 利用张正友标定法标定所述原始图像对中具有窄视场的图像， 得到所述双摄像 头中窄视场摄 像头对应的焦距； 步骤C： 在每一次迭代中， 以视场中心为基点， 按照所述裁剪因子对所述原始图像对中 具有宽视场的图像进行全方位裁 剪； 步骤D： 利用张正友标定法标定裁剪后的图像， 得到本次迭代所述双摄像头 中宽视场摄 像头对应的焦距； 步骤E： 将所述窄视场摄像头对应的焦距和本次迭代所述宽视场摄像头对应的焦距输 入到预设焦距差损失函数中， 得到 本次迭代的焦距差损失函数值； 步骤F： 若连续G轮迭代 的焦距差损失函数值均小于预设损失函数值， 则输出当前裁剪 因子； 否则， 更新裁减因子并返回步骤C； 其中， G为第二预设值。 4.根据权利要求3所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 所述焦距差损失函数的表达式如下： 上式中， J( αi)为第i次迭代的焦距差损失函数值， αi为第i次迭代时的裁减因子， 为 第i次迭代所述宽 视场摄像头对应的焦距， fT为所述窄视场摄 像头对应的焦距。 5.根据权利要求3所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 所述更新裁减因子， 包括： 若本次迭代所述宽视场摄像头对应的焦距与所述窄视场摄像头对应的焦距的差值大权　利　要　求　书 1/2 页 2 CN 115396566 A 2于0， 则将所述裁减因子更新为所述裁减因子与预设步长的差值； 否则， 将所述裁减因子更 新为所述裁减因子与预设步长的加 和值。 6.根据权利要求1所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 所述基于预设丢帧阈值， 对所述异构摄 像头进行帧流同步， 包括： 将两个摄像头的帧流中索引值相同的两帧图像视为一对匹配帧； 其中， 所述索引值表 示相应一帧图像在帧流中的次序； 从索引值升序的方向， 定时的搜索目标匹配帧； 在搜索到目标匹配帧的情况下， 丢弃目标匹配帧中捕捉时间戳靠前的一帧图像， 并更 新次序在被丢弃 的一帧图像之后的各帧图像的捕捉时间戳； 其中， 所述 目标匹配 帧为首个 满足预设条件的匹配帧； 所述预设条件为两帧图像的捕捉时间戳之间的差值大于预设丢帧阈值。 7.根据权利要求1所述的基于焦距等效和帧流同步的双摄像头深度估计方法， 其特征 在于， 在所述移动 设备为Android设备的情况下， 对所述异构摄像头进行帧流同步的同时， 还包括： 采用Java反射机制， 调用CameraMetadataNative实例中的私有close()成员函数， 以释 放CameraMetadataNative实例所持有 的元数据； 其中， 所述元数据， 包括： 帧速率、 图像尺 寸、 拍摄时间、 色彩位深、 相机像距和相机可控制属性。 8.一种基于焦距等效和帧流同步的双摄像头深度估计装置， 其特征在于， 所述双摄像 头为置于移动设备 上的异构摄 像头， 所述装置包括： 焦距等效模块， 用于根据迭代FoV裁 剪技术， 对所述双摄 像头进行焦距等效； 帧流同步模块， 用于基于预设丢帧阈值， 对所述异构摄 像头进行帧流同步； 深度估计模块， 用于利用 焦距等效和帧流同步后的双摄像头， 对目标图像进行深度估 计。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于焦距等效和帧流同步的双摄 像头深度估计方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述基于焦距等效和帧流同步的双摄 像头深度估计方法。权　利　要　求　书 2/2 页 3 CN 115396566 A 3