(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210330676.1 (22)申请日 2022.03.31 (71)申请人 长沙理工大 学 地址 410114 湖南省长 沙市天心区万家丽 南路二段96 0号 (72)发明人 章登勇　吴鹏杰　李峰　彭建　 蒲怀建　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 王浩 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 40/16(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种Deepfake视频篡改检测方法以及系统 (57)摘要 本发明公开了一种Deepfake视频篡改检测 方法以及系统， 本发明基于子空间连续学习思 想， 将目标视频中帧图像序列的不同子空间区 域， 全部经过级联网络的特征提取， 级联网络对 同一张帧图像的不同子空间区域 分别学习特征， 能对篡改遗留下的不平衡痕迹进行有效利用； 另 外级联网络在学习像素邻域特征的同时， 也兼顾 了彩色图像三通道的关联性特征， 其充分捕捉人 脸面部子空间区域之间的特征关系以及RGB图像 通道之间的色彩分布特征， 能够提高对目标视频 的篡改检测的准确度； 而且相较于现有基于数据 驱动的CNN或GAN的深度学习网络， 本发明使用的 级联网络的参数量较少， 极大的减少特征学习的 时间， 提高了整体的篡改检测效率。 权利要求书2页 说明书10页 附图3页 CN 114612847 A 2022.06.10 CN 114612847 A 1.一种De epfake视频篡改检测方法， 其特 征在于， 包括如下步骤： 从目标视频中筛选出帧图像序列， 所述帧图像序列中的每张帧图像均包含人脸面部区 域； 将每张所述帧图像中的人脸面部区域划分为多 张子帧图像， 每张所述子帧图像表示从 所述人脸 面部区域中划分出的其中一个子空间区域； 通过预先设置的级联网络对所有所述子帧图像进行特征提取； 其中， 通过所述级联网 络对所述子帧图像进行 特征提取包括： 对所述子帧图像进行卷积， 将卷积后的结果进行像素邻域相关性特征提取， 将特征提 取结果进行池化， 将池化结果进行特征表示， 得到高频、 中频以及低频的第一特征图分量； 对所述低频的第一特征图分量进行卷积， 将卷积后的结果进行像素邻域相关性特征提取， 将特征提取结果进 行池化， 将池化结果进 行特征表示， 得到高频、 中频以及低频的第二特征 图分量； 依次类推， 直至对所述低频的第N ‑1特征图分量进行卷积， 将卷积后的结果进行像 素邻域相关性特征提取， 将特征提取结果进行池化， 将池化结果进行特征表示， 得到高频、 中频以及低频的第N特 征图分量； 其中， N是指所述级联网络的最大层数； 根据所有中频的第一特 征图分量至第N特 征图分量 生成特征向量； 根据所述特 征向量进行视频篡改检测。 2.根据权利 要求1所述的Deepfake视频篡改检测方法， 其特征在于， 所述从目标视频中 筛选出帧图像序列， 包括 步骤： 从所述目标视频中依次选取 出所有含有人脸 面部区域的帧图像； 计算相邻 两张所述帧图像之间的像素矩阵距离， 当相邻 两张所述帧图像之间的像素矩 阵距离大于阈值， 则 保留相邻两张所述帧图像； 当相邻两张所述帧图像之间的像素矩阵距 离小于或等于阈值， 则 删除相邻两张所述帧图像中的清晰度较低的所述帧图像； 将保留的所述帧图像组成帧图像序列。 3.根据权利 要求2所述的Deepfake视频篡改检测方法， 其特征在于， 所述计算相邻两 张 所述帧图像之间的像素矩阵距离包括： 将彩色所述帧图像转换成灰度 所述帧图像， 计算相邻 两张灰度 所述帧图像之间的像素 矩阵距离 。 4.根据权利 要求1所述的Deepfake视频篡改检测方法， 其特征在于， 在所述将每张所述 帧图像中的人脸 面部区域划分为多张子帧图像之前， 还 包括步骤： 当所述帧图像的人脸面部区域的尺寸小于预设值， 则通过RCAN网络对小于所述预设值 的所述帧图像进行超分辨 化。 5.根据权利 要求1所述的Deepfake视频篡改检测方法， 其特征在于， 所述根据所有中频 的第一特 征图分量至第N特 征图分量 生成特征向量， 包括 步骤： 通过PCA对中频的第一特征图分量至第N特征图分量进行主成分分析并保留设定能量 值， 生成特 征向量。 6.根据权利 要求1所述的Deepfake视频篡改检测方法， 其特征在于， 在所述生成特征向 量之后， 还 包括： 通过XGBoost分类器对所述特 征向量设定与分类标签。 7.根据权利要求1至6任一项所述的Deepfake视频篡改检测方法， 其特征在于， 所述级权　利　要　求　书 1/2 页 2 CN 114612847 A 2联网络由4层子网络组成， 前两层的子网络的卷积核大小为2*2， 步长为1； 后两层的子网络 的卷积核大小为3 *3， 步长为1。 8.一种De epfake视频篡改检测系统， 其特 征在于， 包括： 帧图像筛选模块， 用于从目标视频中筛选出帧图像序列， 所述帧图像序列中的每张帧 图像均包 含人脸面部区域； 子空间划分模块， 用于将每张所述帧图像中的人脸面部区域划分为多张子帧图像， 每 张所述子帧图像表示从所述人脸 面部区域中划分出的其中一个子空间区域； 级联网络模块， 用于对所有所述子帧图像进行特征提取， 其中， 通过所述级联网络对所 述子帧图像进行 特征提取包括： 对所述子帧图像进行卷积， 将卷积后的结果进行像素邻域相关性特征提取， 将特征提 取结果进行池化， 将池化结果进行特征表示， 得到高频、 中频以及低频的第一特征图分量； 对所述低频的第一特征图分量进行卷积， 将卷积后的结果进行像素邻域相关性特征提取， 将特征提取结果进 行池化， 将池化结果进 行特征表示， 得到高频、 中频以及低频的第二特征 图分量； 依次类推， 直至对所述低频的第N ‑1特征图分量进行卷积， 将卷积后的结果进行像 素邻域相关性特征提取， 将特征提取结果进行池化， 将池化结果进行特征表示， 得到高频、 中频以及低频的第N特 征图分量； 其中， N是指所述级联网络的最大层数； 特征提取模块， 用于根据所有中频的第一特 征图分量至第N特 征图分量 生成特征向量； 决策模块， 用于根据所述特 征向量进行视频篡改检测。 9.一种Deepfake视频篡改检测设备， 其特征在于， 包括至少一个控制处理器和用于与 所述至少一个控制处理器通信连接的存储器； 所述存储器存储有 可被所述至少一个控制处 理器执行 的指令， 所述指令被所述至少一个控制处理器执行， 以使所述至少一个控制处理 器能够执 行如权利要求1至7任一项所述的De epfake视频篡改检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的 Deepfake视频篡改检测方法。权　利　要　求　书 2/2 页 3 CN 114612847 A 3