(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979037.8 (22)申请日 2022.08.16 (71)申请人 中国铁塔股份有限公司 地址 100195 北京市海淀区东 冉北街9号院 北区14号楼-1至 3层101 (72)发明人 余家忠　李飞　靳志娟　刘昱含　 郭晓伟　陈欣　孙宁波　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 刘倩兰 (51)Int.Cl. H04N 5/232(2006.01) (54)发明名称 视频防抖拼接方法及相关 设备 (57)摘要 本申请提供一种视频防抖拼接方法及相关 设备， 通过 获取拍摄过程中基于第一惯性测量单 元对第一摄像头的晃动检测得到的第一晃动偏 移信息以及基于第二惯性测量单元对第二摄像 头的晃动检测得到的第二晃动偏移信息； 按照拼 接偏移量对第一摄像头和第二摄像头在同一时 刻拍摄的视频帧进行拼接， 得到中间拼接视频 帧； 按照第一晃动偏移量和第二晃动偏移量对中 间拼接视频帧进行拼接调整， 获得目标视频帧。 这样， 通过在摄像头上安装惯性测量单元， 直接 获取摄像头的晃动信息， 避免了需要通过防抖算 法来对图像进行防抖运算， 节省了防抖运算的时 间， 从而提高了 视频防抖拼接方法的实时性。 权利要求书2页 说明书11页 附图3页 CN 115396597 A 2022.11.25 CN 115396597 A 1.一种视频防抖拼接方法， 其特 征在于， 所述视频防抖拼接方法包括： 获取拍摄过程中基于第一惯性测量单元对第一摄像头的晃动检测得到的第一晃动偏 移信息以及基于第二惯性测量单元对第二摄像头的晃动检测得到的第二晃动偏移信息， 所 述第一晃动 偏移信息包括所述第一摄像头拍摄的每一帧视频对应的第一晃动偏移量， 所述 第二晃动偏移信息包括所述第二摄 像头拍摄的每一帧视频对应的第二晃动偏移量； 按照拼接偏移量对所述第 一摄像头和第 二摄像头在同一 时刻拍摄的视频帧进行拼接， 得到中间拼接视频帧， 所述拼接偏移量表示在无晃动的情况下， 所述第一摄像头拍摄的视 频帧和所述第二摄 像头拍摄的视频帧之间的偏移量； 按照所述第一晃动偏移量和所述第二晃动偏移量对所述中间拼接视频帧进行拼接调 整， 获得目标视频帧。 2.根据权利要求1所述的视频防抖拼接方法， 其特征在于， 所述获取拍摄过程中基于第 一惯性测 量单元对第一摄像头的晃动检测得到的第一晃动偏移信息以及基于第二惯性测 量单元对第二摄 像头的晃动检测得到的第二晃动偏移信息包括： 获取拍摄过程中基于第一惯性测量单元对第一摄像头的晃动检测得到的第一初始晃 动偏移信息以及基于第二惯性测 量单元对第二摄像头的晃动检测得到的第二初始晃动偏 移信息； 对所述第一初始晃动偏移信 息和所述第 二初始晃动偏移信 息依次进行卡尔曼滤波、 生 成欧拉角、 转换四元数、 罗德 里格斯变换和提取向量处理， 获得所述第一晃动偏移信息和所 述第二晃动偏移信息 。 3.根据权利要求1所述的视频防抖拼接方法， 其特征在于， 所述按照 拼接偏移量对同一 时刻的第一摄像头拍摄的视频帧和 第二摄像头拍摄的视频帧进行拼接， 得到中间拼接视频 帧之前， 所述方法还 包括： 获取同一时刻所述第一摄 像头和第二摄 像头拍摄的视频帧的角点； 根据所述角点与其周围像素块的关系， 确定所述角点的标识信息， 所述标识信息包括 所述角点的像素坐标； 将同一时刻所述第一摄像头拍摄的视频帧与第二摄像头拍摄的视频帧的所述角点进 行所述标识信息的匹配； 基于匹配成功的所述角点的标识信息， 获取 所述视频帧之间的所述 拼接偏移量。 4.根据权利要求3所述的视频防抖拼接方法， 其特征在于， 所述将同一 时刻所述第 一摄 像头拍摄的视频帧与第二摄 像头拍摄的视频帧的所述角点进行 所述标识信息的匹配包括： 同一时刻所述第一摄像头和所述第二摄像头拍摄的视频帧分别为第一视频帧和第二 视频帧； 将所述第一视频帧的所有角点的标识信息依次与所述第二视频帧中角点的标识信息 遍历匹配， 如 匹配成功， 则 保存所述角点的标识信息， 如匹配失败， 则删去所述角点的标识 信息。 5.根据权利要求4所述的所述视频防抖拼接方法， 其特征在于， 所述基于匹配成功的所 述角点的标识信息， 获取 所述视频帧之间的所述 拼接偏移量包括： 计算所述第一视频帧的角点中任意两个所述角点之间的第一距离和对应匹配成功的 所述第二视频帧中两个所述角点的第二距离；权　利　要　求　书 1/2 页 2 CN 115396597 A 2根据所述第 一距离和所述第 二距离， 确定所述第 一视频帧和所述第 二视频帧的成像比 率； 基于所述成像比率， 将所述第一视频帧和所述第二视频帧的尺寸大小调整为 一致； 在所述第一视频帧和所述第 二视频帧的尺寸大小一致 时， 根据所述第一视频帧和所述 第二视频帧之 间匹配成功的所述角点之 间的欧氏距离， 计算所述第一视频帧和所述第二视 频帧的所述 拼接偏移量。 6.根据权利要求1所述的视频防抖拼接方法， 其特征在于， 所述按照所述第 一晃动偏移 量和所述第二晃动偏移量对所述中间拼接 视频帧进行拼接调整， 获得目标视频帧包括： 对所述第一晃动偏移量和所述第二晃动偏移量进行卡尔曼滤波处理， 获得预测偏移 量； 按照所述预测偏移量对所述中间拼接 视频帧进行拼接调整。 7.一种视频防抖拼接装置， 其特 征在于， 所述视频防抖拼接装置包括： 获取模块， 用于获取拍摄过程中基于第 一惯性测量单元对第 一摄像头的晃动检测得到 的第一晃动偏移信息以及基于第二惯性测 量单元对第二摄像头的晃动检测得到的第二晃 动偏移信息， 所述第一晃动 偏移信息包括所述第一摄像头拍摄的每一帧视频对应的第一晃 动偏移量， 所述第二晃动 偏移信息包括所述第二摄像头拍摄的每一帧视频对应的第二晃动 偏移量； 拼接模块， 用于按照拼接偏移量对所述第 一摄像头和第 二摄像头在同一 时刻拍摄的视 频帧进行拼接， 得到中间拼接视频帧， 所述拼接偏移 量表示在无晃动的情况下， 所述第一摄 像头拍摄的视频帧和所述第二摄 像头拍摄的视频帧之间的偏移量； 调整模块， 按照所述第 一晃动偏移量和所述第 二晃动偏移量对所述中间拼接视频帧进 行拼接调整， 获得目标视频帧。 8.一种电子设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在于， 所述处理器执行所述计算机程序是实现权利要求1至 6中任一项所述方法的步骤。 9.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器 执行时实现权利要求1至 6中任一项所述方法的步骤。 10.一种芯片， 包括处理器和通信接口， 通信接口和处理器耦合， 处理器用于运行程序 或指令， 实现权利要求1至 6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115396597 A 3