(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077092.4 (22)申请日 2022.09.05 (71)申请人 深圳深知未来智能有限公司 地址 518000 广东省深圳市宝安区新 安街 道灵芝园社区22区勤诚达乐园13号楼 2310 (72)发明人 高歌　王保耀　郭奇锋　 (74)专利代理 机构 深圳市徽正知识产权代理有 限公司 4 4405 专利代理师 卢杏艳 (51)Int.Cl. H04N 5/232(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的混合防抖 方法及系统 (57)摘要 本发明公开了一种基于深度学习的混合防 抖方法及系统， 方法包括： 获取相机拍摄的视频， 基于所述视频 获取连续N帧图像； 将连续N帧图像 输入双向光流网络， 获取双向光流网络的输出结 果； 获取相机的位姿数据； 将所述双向光流网络 的输出结果及所述位姿数据输入对齐网络； 获取 对齐网络的输出结果， 将所述对齐网络的输出结 果进行翘曲至对应的位姿上， 得到当前图像帧的 稳像结果， 完成防抖操作。 本发明实施例使用 深 度学习端对端的神经网络的方法计算稠密光流， 比传统算法更鲁棒， 得到的光流结果精度更高， 在时域上对于历史上和未来的相机位姿数据进 行选择。 并在空域上对于位姿数据进行融合矫 正， 减少了防抖， 提高了 视频图像质量。 权利要求书2页 说明书9页 附图2页 CN 115174817 A 2022.10.11 CN 115174817 A 1.一种基于深度学习的混合防抖 方法， 其特 征在于， 包括： 获取相机拍摄的视频， 基于所述视频获取 连续N帧图像； 将连续N帧图像输入双向光 流网络， 获取双向光 流网络的输出 结果； 获取相机的位姿数据； 将所述双向光 流网络的输出 结果及所述 位姿数据输入 对齐网络； 获取对齐网络的输出结果， 将所述对齐网络的输出结果进行翘曲至对应的位姿上， 得 到当前图像帧的稳像结果， 完成防抖操作。 2.根据权利要求1所述的基于深度学习的混合防抖方法， 其特征在于， 所述获取相机拍 摄的视频， 基于所述视频获取 连续N帧图像， 包括： 获取相机拍摄的视频， 基于所述视频获取 连续5帧RGB图像； 基于所述5帧RGB图像生成4对RGB颜色空间数据对。 3.根据权利要求2所述的基于深度学习的混合防抖方法， 其特征在于， 所述将连续N帧 图像输入双向光 流网络， 获取双向光 流网络的输出 结果， 包括： 将4对RGB颜色空间数据对输入双向光流网络， 所述双向光流网络为符合UNet结构的 CNN网络； 获取所述双向光 流网络输出的4对正逆光 流结果。 4.根据权利要求3所述的基于深度学习的混合防抖方法， 其特征在于， 所述获取相机的 位姿数据， 包括： 基于MEMS陀螺仪获取相机的初始三轴角速度数据； 基于互补滤波和卡尔曼滤波对所述初始三轴角速度 数据进行滤波， 生成相机的位姿数 据。 5.根据权利要求4所述的基于深度学习的混合防抖方法， 其特征在于， 所述将所述双向 光流网络的输出 结果及所述 位姿数据输入 对齐网络， 包括： 将所述三轴角速度数据与视频数据进行同步处理， 生成同步后的三轴角速度数据， 得 到三轴角速度数据对应的相对旋转矩阵； 将同步后的三轴角速度 数据及双向光流网络的输出结果输入对齐网络， 所述对齐网络 为RNN网络， 所述RN N网络包括忘记阶段、 选择记 忆阶段及输出阶段。 6.一种基于深度学习的混合防抖系统， 其特征在于， 所述系统包括： 存储器、 处理器及 存储在所述存储器上并可在所述处理器上运行的计算机程序， 所述计算机程序被所述处理 器执行时实现以下步骤： 获取相机拍摄的视频， 基于所述视频获取 连续N帧图像； 将连续N帧图像输入双向光 流网络， 获取双向光 流网络的输出 结果； 获取相机的位姿数据； 将所述双向光 流网络的输出 结果及所述 位姿数据输入 对齐网络； 获取对齐网络的输出结果， 将所述对齐网络的输出结果进行翘曲至对应的位姿上， 得 到当前图像帧的稳像结果， 完成防抖操作。 7.根据权利要求6所述的基于深度学习的混合防抖系统， 其特征在于， 所述计算机程序 被所述处 理器执行时还实现以下步骤： 获取相机拍摄的视频， 基于所述视频获取 连续5帧RGB图像；权　利　要　求　书 1/2 页 2 CN 115174817 A 2基于所述5帧RGB图像生成4对RGB颜色空间数据对。 8.根据权利要求7所述的基于深度学习的混合防抖系统， 其特征在于， 所述计算机程序 被所述处 理器执行时还实现以下步骤： 将4对RGB颜色空间数据对输入双向光流网络， 所述双向光流网络为符合UNet结构的 CNN网络； 获取所述双向光 流网络输出的4对正逆光 流结果。 9.根据权利要求8所述的基于深度学习的混合防抖系统， 其特征在于， 所述计算机程序 被所述处 理器执行时还实现以下步骤： 基于MEMS陀螺仪获取相机的初始三轴角速度数据； 基于互补滤波和卡尔曼滤波对所述初始三轴角速度 数据进行滤波， 生成相机的位姿数 据。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介 质存储有计算机可执行指令， 该计算机可执行指令被一个或多个处理器执行时， 可使得所 述一个或多个处 理器执行权利要求1 ‑5任一项所述的基于深度学习的混合防抖 方法。权　利　要　求　书 2/2 页 3 CN 115174817 A 3