(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058509.2 (22)申请日 2022.08.30 (71)申请人 豪威科技 （上海） 有限公司 地址 201210 上海市浦东 新区张江高科技 园区上科路88号 (72)发明人 王琼　刘燕燕　葛瑞　曾少勇　 (74)专利代理 机构 上海思捷知识产权代理有限 公司 312 95 专利代理师 闫学文 (51)Int.Cl. H04N 5/272(2006.01) H04N 5/222(2006.01) H04N 5/232(2006.01) (54)发明名称 在线视频 稳定方法 (57)摘要 本发明提供了一种在线视频稳定方法， 包 括： 基于惯性测量单元获取相机的物理位置； 计 算所述相机的虚拟位置； 基于所述虚拟位置将原 始画面中的像素点在输出画面中进行重定位。 其 中， 计算所述虚拟位置的步骤包括： 基于感兴趣 区域的预测位置， 执行如下步骤中的一者： 将第k 帧的所述虚拟位置的预测值设置为第k帧的所述 虚拟位置； 将第k帧的所述虚拟位置的更新值设 置为第k帧的所述虚拟位置； 将第k帧的所述虚拟 位置的更新值设置为第k帧的所述虚拟位置的预 测值并循环。 如此配置， 选择合理的计算结果作 为最终的所述虚拟位置， 使 得生成的视频画面更 为平滑， 并能有效兼顾平稳性和无效区域， 解决 了现有技 术中存在的问题。 权利要求书3页 说明书11页 附图8页 CN 115412683 A 2022.11.29 CN 115412683 A 1.一种在线视频 稳定方法， 其特 征在于， 所述在线视频 稳定方法包括： 基于惯性测量单 元获取相机的物理位置； 计算所述相机的虚拟位置； 基于所述虚拟位置将原 始画面中的像素点在输出画面中进行重 定位； 其中， 计算所述虚拟位置的步骤 包括： S21， 基于画面尺寸设置感兴趣区域和内区域， 所述感兴趣区域在所述输出画面中始终 位于相同的位置； S22， 当前帧数为第1帧时， 所述虚拟位置和所述物理位置 重合； S23， 当前帧数为第k帧时， 基于第k ‑1帧的所述虚拟位置和所述第k ‑1帧到所述第k帧的 所述虚拟位置的变化 量计算所述第k帧的所述虚拟位置的预测值； 其中， k 为大于1的整数； S24， 基于所述第k帧的所述虚拟位置的预测值， 计算所述第k帧的所述感兴趣区域在所 述原始画面中的预测位置； S25， 基于所述感兴趣区域在所述原始画面中的预测位置、 所述感兴趣区域在所述原始 画面中的预测 位置与所述内区域的相对位置以及历史中所述感兴趣区域在所述原始画面 中的位置， 判断并选择步骤S26、 S27和S28中的一 者执行； 其中： S26， 将所述第k帧的所述虚拟位置的预测值设置为所述第k帧的所述虚拟位置； S27， 基于插值函数获取所述第k帧的所述虚拟位置的更新值并设置为所述第k帧的所 述虚拟位置； S28， 基于插值函数获取所述第k帧的所述虚拟位置的更新值并设置为所述第k帧的所 述虚拟位置的预测值， 并重新执 行步骤S24。 2.根据权利要求1所述的在线视频稳定方法， 其特征在于， 所述在线视频稳定方法基于 如下计算模型进行计算： 相机模型采用针孔相机模型； 所述相机在t时刻的方向使用R(t)函数描述； 以及， 三维空间中的一点X， 其成像点描述为x＝KR(t)X， 其中， K为 内参矩阵， 由所述相机的内 部参数决定 。 3.根据权利要求2所述的在线视频稳定方法， 其特征在于， 所述计算模型中， 三维空间 中的一点X， 在t1时刻的成像点x1以及在t2时刻的成像点x2的映射关系为： x2＝KRc(t2)Rc‑1(t1)K‑1x1 其中， Rc(t)代表所述相机在 t时刻的方向在相机坐标系中的函数表 达， K为内参矩阵， 所 述相机坐标系的原点与世界坐标系的原点重合。 4.根据权利要求3所述的在线视频稳定方法， 其特征在于， 所述计算模型中， 三维空间 中的一点X， 在t1时刻的成像点x1以及在t2时刻的成像点x2的映射关系在惯性测量单元坐标 系下为： x2＝KTRTT‑1K‑1x1 其中， T代表所述惯性测量单元坐标系与所述相机坐标系之间的变换算子， K为内参矩 阵， RT＝Rg(t2+td)Rg‑1(t1+td)， Rg(t)代表所述相机在t时刻的方向在所述惯性测量单元坐标 系中的函数表达， td是所述惯性测量单元和所述相机之间的时间延迟， 所述惯性测量单元 坐标系的原点与所述相机坐标系的原点重合。权　利　要　求　书 1/3 页 2 CN 115412683 A 25.根据权利要求4所述的在线视频稳定方法， 其特征在于， 基于所述虚拟位置将原始画 面中的像素点在输出画面中进行重 定位的步骤 包括： 计算像素 行的拍摄时刻； 确定所述拍摄时刻所对应的所述相机的物理位置， 其中， 所述拍摄时刻所对应的所述 相机的物理位置基于所述拍摄时刻所位于的前后相邻两次的所述惯性测 量单元的采样数 据计算得到的位置插值计算得到； 获取所述像素点在所述原 始画面中的坐标； 将所述像素点在所述原 始画面中的坐标转 化为在所述相机坐标系中的坐标； 将所述像素点在所述相机坐标系中的坐标转化为在所述惯性测量单元坐标系中的坐 标； 将所述像素点在所述惯性测量单元坐标系中的坐标基于所述相机的物理位置和虚拟 位置的变化 量进行旋转变换， 得到所述像素点在所述惯性测量单 元坐标系中的稳定坐标； 将所述像素点在所述惯性测量单元坐标系中的稳定坐标转化为在所述相机坐标系 中 的稳定坐标； 以及， 将所述像素点在所述相机坐标系中的稳定坐标转 化为在所述输出画面中的坐标； 其中， 相邻两帧画面的拍摄间隔大于所述惯性测量单 元的采样间隔。 6.根据权利要求1所述的在线视频 稳定方法， 其特 征在于， 步骤S25包括： 若所述第k帧的所述感兴趣区域的预测位置的至少一部分超出所述原始画面之外， 则 按照如下逻辑执 行： S251， 基于插值函数获取所述第k帧的所述虚拟位置的更新值并设置为所述第k帧的所 述虚拟位置的预测值； 判断新的预测值计算得到的所述第k帧的所述感兴趣区域的预测位 置是否超出 所述原始画面之外； 若超出， 则执 行步骤S252， 否则， 执 行步骤S25 3； S252， 若当前执行步骤S251的次数超过预设次数， 执行步骤S253， 否则重新执行步骤 S251； S253， 将所述第k帧的所述虚拟位置的预测值设置为所述第k帧的所述虚拟位置； 并将 所述第k‑1帧到所述第k 帧的所述虚拟位置的变化量设置为所述第k 帧到第k+1帧的所述虚 拟位置的变化 量； 其中， 每一次执行步骤S251时所述插值函数输出的结果较上一次执行步骤S251的结果 更接近于所述相机的物理位置 。 7.根据权利要求6所述的在线视频 稳定方法， 其特 征在于， 步骤S25还 包括： 若所述第k帧的所述感兴趣区域的预测位置完全位于所述原始画面之内且未执行过步 骤S251， 则按照如下逻辑执 行： S254， 若所述第k ‑1帧的所述感兴趣区域完全位于所述内区域之内， 则执行步骤S256， 否则执行步骤S25 5； S255， 若所述第k ‑1帧的所述感兴趣区域的至少一部分超出所述内区域之外， 基于插值 函数获取所述第k帧的所述虚拟位置的更新值， 并基于比较结果选择所述第k帧的所述虚拟 位置的预测值保留原值或者被所述第k帧的所述虚拟位置的更新值赋值； 然后执行步骤 S256； S256， 若所述第k帧的所述感兴趣区域的预测位置完全位于所述 内区域之内， 则执行步权　利　要　求　书 2/3 页 3 CN 115412683 A 3