(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974751.8 (22)申请日 2022.08.15 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 薛广涛　李文浩　潘昊　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 蔡彭君 (51)Int.Cl. H04N 5/232(2006.01) G06T 3/40(2006.01) (54)发明名称 一种超分辨率图像成像方法、 装置及 存储介 质 (57)摘要 本发明涉及一种基于镜头补偿式光学防抖 系统的超分辨率图像成像方法、 装置及存储介 质， 其中方法包括： 确定板载陀螺仪的谐振 频率； 基于谐振 频率确定声信号； 获取智能手机在默认 参数下拍摄的参考帧； 获取智能手机在声信号注 入时拍摄的多个偏移帧， 同时记录每个偏移帧对 应的时间戳和板载陀螺仪读数； 基于板载陀螺仪 读数计算镜头移动角度； 基于镜头移动角度确定 镜头位移和像素位移； 基于目标优化函数、 镜头 位移和像素位移求解最优化问题， 进行参考帧和 偏移帧之间的图像配准， 得到配准之后的低分辨 率图像； 对配准之后的低分辨率图像进行图像合 并， 得到超分辨率图像。 与现有 技术相比， 本发明 具有超分辨率图像生成效果 好等优点。 权利要求书4页 说明书8页 附图2页 CN 115396596 A 2022.11.25 CN 115396596 A 1.一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法， 其特征在于， 包括以 下步骤： 确定智能手机 板载陀螺 仪的谐振频率； 基于谐振频率确定声信号； 获取智能手机在默认参数 下拍摄的参 考帧； 获取智能手机在声信号注入时拍摄的多个偏移帧， 同时记录每个偏移帧对应的时间戳 和板载陀螺 仪读数； 基于板载陀螺 仪读数计算镜 头移动角度； 基于镜头移动角度确定 镜头位移和像素位移； 基于目标优化函数、 镜头位移和像素位移求解最优化问题， 进行参考帧和偏移帧之间 的图像配准， 得到配准之后的低分辨 率图像， 其中， 所述目标优化 函数包含多个惩罚项； 对配准之后的低分辨 率图像进行图像合并， 得到超分辨 率图像。 2.根据权利要求1所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方 法， 其特征在于， 所述基于 板载陀螺 仪读数计算镜 头移动角度的计算方法为： θ(t+Δt)＝θ(t)+ω[t]Δt 其中， θ(t)为t时刻的镜头角度， Δt为两次板载陀螺仪读数之间的时间间隔， Fs为板载陀螺 仪的采样频率， ω[t]是当前时间戳的板载陀螺 仪读数； nθ ＝θ(t+Δt) ‑θ(t) 其中， Δθ 为镜 头移动角度。 3.根据权利要求2所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方 法， 其特征在于， 所述基于 镜头移动角度确定 镜头位移和像素位移包括以下步骤： 6‑1)对镜头位移和像素位移之间的关系建模； 6‑2)将镜头从位置1移动 到位置2， 使得光源A的成像从像素B移动 到像素B’， 其中， 镜头 位移Δh＝a*Δθ， a为常数， 像素位移为ΔT； 6‑3)基于相似三角形 得到像素位移和镜 头位移之间的关系满足： 其中， Za为光源深度， f为智能手机摄像头的焦 距； 当在镜头位移的影响下从同一场景中 拍摄多帧图像时， 所有图像中的光源深度保持不变， 即在每一组图像中， 每一个光源的 是固定的； 6‑4)基于 固定不变， 确定 镜头移动角度Δθ和像素位移ΔT之间的关系： ΔTx＝axΔθx,ax＞0 ΔTy＝ayΔθy,ay＞0 其中， ax和ay是光学防抖系统的常量系数， 下 标x,y分别代 表x轴和y轴分量； 6‑5)基于翻 滚角、 俯仰角和6 ‑4)所述镜头移动角度Δθ和像素位移ΔT之间 的关系确定 t1‑t2时间间隔内像素位移：权　利　要　求　书 1/4 页 2 CN 115396596 A 2其中， Δθx为翻滚角， Δθy为俯仰角。 4.根据权利要求3所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方 法， 其特征在于， 所述目标优化 函数为： E(p)＝Evisual(P)+α Emotion(p) 其中， Evisual(p)， Emotion(p)均为惩罚项， Evisual(p)是视觉项， Emotion(p)是运动项， α 为权 重参数， p代 表像素。 5.根据权利要求4所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方 法， 其特征在于， 所述视觉项基于Lucas ‑Kanade光流方法的三次迭代确定， 用于对齐图像中 视觉相似的区域， 视 觉项的确定方法为： 7‑1‑1)以K0表示参考帧， Ki(i∈[1,2,...,k])表示偏移帧， k为偏移帧的帧数， 偏移帧Ki 中的每个像素p的视 觉项Evisual(p)i为： 其中， ui(p),vi(p)表示从光流方法中得到的粗 粒度像素位移信息， 表示优 化目标； 7‑1‑2)对每个像素p确定 视觉项如下： 6.根据权利要求5所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方 法， 其特征在于， 所述 运动项的确定方法为： 7‑2‑1)对于每 个像素p， 基于每一对偏移帧 ‑参考帧得到： 其中， Δhx(i)和Δhy(i)分别表示偏移帧Ki中x轴和y轴上的平均镜头位移， Ω表示图像 平面， 7‑2‑2)将两对偏移帧 ‑参考帧之间的运动项定义为(Km,K0)和(Kn,K0)， Km和Kn代表两个 不同的偏移帧， 参 考帧的拍摄时间为t0， 偏移帧Ki的拍摄时间为ti， 结合6‑5)所述公式得到：权　利　要　求　书 2/4 页 3 CN 115396596 A 3