(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211121596.1 (22)申请日 2022.09.15 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 杨敬钰　潘锦蔚　岳焕景　李坤　 (74)专利代理 机构 北京保识知识产权代理事务 所(普通合伙) 11874 专利代理师 尹莹莹 (51)Int.Cl. H04N 5/232(2006.01) H04N 21/81(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/40(2022.01) (54)发明名称 基于深度学习的事 件相机视频重建方法 (57)摘要 本发明公开了一种基于深度学习的事件相 机视频重建方法， 属于数字图像处理领域。 事件 相机是一种新型神经形态传感器， 具有高动态范 围、 高时间分辨率和低功耗的特点。 由于事件相 机的输出并非是人所正常观测的视觉友好图像， 事件相机的视频重建是其视觉应用之一。 现有的 事件相机视频重建方法在重建前期得到的图像 质量较差， 重建算法的初始化时间长。 针对这一 情况， 本发明设计了新的深度神经网络， 包含时 空Transformer、 ConvLSTM、 CNN等模块， 通过各模 块间优势互补， 提取多个相邻时间段内未对齐时 空事件的信息来共同生成一帧灰度图像。 本发明 具有较快的初始化速度， 在视频的前期和整个视 频内都能重建出较高质量的图像， 重建出的视频 具有良好的视 觉效果。 权利要求书3页 说明书10页 附图2页 CN 115484410 A 2022.12.16 CN 115484410 A 1.一种基于深度学习的事件相机视频重建方法， 其特征在于， 本发明基于深度神经网 络实现， 具体包括以下步骤： S1、 获取事 件并预处 理为事件帧； S2、 将预处 理后的原 始尺度事件帧输入 共享特征提取模块 提取主特 征和子特 征； S3、 将主特 征输入特 征偏移估计模块， 得到相邻帧特 征偏移量； S4、 将主特 征输入Co nvLSTM的时空Transformer模块进行 特征编码和解码； S5、 将编码后的主特 征根据特 征偏移量进行复位， 实现特 征对齐； S6、 将复位后的主特 征输入SpadeN ormalization模块； S7、 将主特 征输入3D  CNN模块进行 特征解码， 同时加入子特 征补充损失的信息； S8、 将特征下采样为1/2尺度和1/4尺度， 获得1/2尺度和1/4尺度下的主特征， 同时通过 共享特征提取模块 提取1/2尺度和1/4尺度事 件的子特 征， 然后重复S3～S7操作； S9、 将1/2尺度和1/4尺度解码后的主特征经过pixel  shuffle上采样至原尺度后融合 得到重建后的图像； S10、 将S9中所得的重建结果与原始环境真实图像计算网络的损失函数， 进行反向传 播。 2.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述S1 中提到的事件预处理具体包括以下内容： 选取两帧参考图像之 间的事件点堆叠为时空体素 网格； 对于一段时间 △t＝tk‑t0内包含k个事件的事件流 将每 个事件点映射到对应的时空体素网格中， 公式如下： 其中， ti表示第i个事件的时间戳； C表示时空体素网格 的通道数； (xi， yi)表示第i个事 件的坐标； pi＝±1， 表示事 件极性； tn表示时空体素网格的通道索引时间； 选取奇数T个相邻时间段内的事件流堆叠为时空体素网格I`∈RB×T×C×H×W， T包含中间位 置的1个中间帧， 和与中间位置相邻的T ‑1个相邻帧。 3.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述共 享特征提取模块由两个普通卷积层组合而成， 四个共享特征提取模块分别提取出原始尺度 的主特征、 原始尺度的子特 征、 1/2尺度的子特 征和1/4尺度的子特 征。 4.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述特 征偏移估计模块应用于 真实场景上预训练好的光流估计模型， 在网络训练过程中该模块同 时进行参数 的更新， 使该模块经过训练后迁移至特征偏移估计空间， 从而实现事件的特征 偏移估计。 5.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述S4 具体包括以下内容： S4.1、 将提取的主特 征应用两个分组卷积分别提取 出Q值和K值， 具体公式如下：权　利　要　求　书 1/3 页 2 CN 115484410 A 2Q＝WQ*Fm    (2) K＝WK*Fm    (3) 其中， *表示卷积 操作； S4.2、 应用Co nvLSTM提取主特 征的V值特 征， 具体公式如下： 其中， σ 表示sigmo id函数， [,]表示对两个特 征进行拼接； S4.3、 将提取的Q、 K和V值展开后依次通过自注意力模块和多层感知机模块进行特征编 码， 具体公式如下： FO＝MLP(SA)     (6) 其中， D表示特 征维度； MLP表示含有 多个卷积或全连接层的多层感知机 。 6.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述S5 中提到的特征对齐具体为： 根据S3中得到的相邻帧特征偏移量， 将相邻帧对应位置特征复 位至与中间帧相对应的位置， 实现特 征对齐。 7.根据权利要求1所述的基于深度学习的事件相机视频重建方法， 其特征在于， 所述S6 具体包括以下内容： S6.1、 对输入的复位后的主特征进行无参数的batchnormalization标准化， 具体公式 如下： 其中， 表示均值， 表示标准差； S6.2、 令上一帧的重建结果为 应用卷积Ws对主特征进行维度拓展， 具体计算公式 如下： S6.3、 应用卷积Wγ、 Wβ生成主特 征标准化的系数和偏置项， 具体公式如下：权　利　要　求　书 2/3 页 3 CN 115484410 A 3