(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210416762.4 (22)申请日 2022.04.20 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 刘波　王颢迪　林立康　曹玖新　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 许小莉 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于图像取证技术的虚假人脸图像检测方 法及系统 (57)摘要 本发明公开了一种基于图像取证技术的虚 假人脸图像检测方法及系统， 该方法主要包括五 个步骤： 步骤一， 在视频预处理模块， 利用Dlib将 原视频中的人脸截取作为预处理的数据集； 步骤 二， 在插值与底层特征模块， 将图片经SRM滤波器 预 处 理 ， 之 后通 过 残 差网 络降 维 并 通 过 XceptionNet进行特征提取； 步骤三， 在背景噪声 模块， 利用PRNU算法和注意力机制得到 具有背景 噪声信息的输出向量； 步骤四， 在视频修改检测 模块， 将上述模块的输出拼接经过全 连接层得出 修改的检测结果。 步骤五， 在可视化展示模块， 采 用Web交互技术实现结果的可视化展示。 本发明 可以有效提高虚假人脸检测的准确性， 对于维护 健康、 绿色的网络环境具有重要意 义。 权利要求书3页 说明书9页 附图4页 CN 115223217 A 2022.10.21 CN 115223217 A 1.一种基于 图像取证技术的虚假人脸图像检测方法， 其特征在于， 该方法包括以下步 骤： (1)视频预处理 对视频进行帧率统一的预处理， 利用Dlib提取到视频中人脸所在图像区域的位置信 息， 并根据人脸所在区域的位置信息将原视频中的人脸截取人脸特征图片作为预 处理完毕 的数据集； (2)插值与底层特 征检测 将步骤(1)中得到的人脸特征图片经过SRM滤波器进行预处理， 得到富含插值检测信息 的新矩阵， 之后在原有的人脸特征基础之上融合插值检测信息的新矩阵， 放入残差网络中 进行降维得到融合特征， 最后通过XceptionNet进 行特征提取， 得到融合底层特征和插值特 征的输出向量； (3)背景噪声检测 将步骤(1)中得到的人脸特征图片， 经过PRNU算法得到具有背景噪声特点的矩阵表示， 具有背景噪声 特点的矩阵中每个像素点代表着是否被修改的特征强度， 之后利用自注意力 机制消除固定阈值的影响， 得到具有 背景噪声信息的输出向量； (4)视频修改检测 将步骤(2)和(3)得到的融合底层特征和插值特征的输出向量和具有背景噪声信息的 输出向量进行 特征维度的拼接， 之后经 过全连接层得 出视频修改的检测结果； (5)可视化结果展示 根据步骤(4)得出的检测结果， 结合步骤(1)得到的人脸位置信息， 在Web平台上展示出 检测结果信息 。 2.根据权利要求1所述的基于图像取证技术的虚假人脸图像检测方法， 其特征在于， 步 骤(1)中所述对视频进行帧率统一的预处 理采用检测间隔为每6帧检测一次； 步骤(1)中所述利用Dlib提取到视频中人脸所在图像区域的位置信息， 具体是采用开 源工具Dlib进行人脸检测， Dlib首先会使用训练好的模 型检测人脸上的68个 关键点之后便 返回人脸所在图像区域的位置信息； 步骤(1)中所述根据 人脸所在区域的位置信 息将原视频中的人脸截取作为预处理完毕 的数据集， 具体是指通过截取将人物面部固定在图像中央， 以便将人脸区域与图像中心 区 域进行关联。 3.根据权利要求1所述的基于图像取证技术的虚假人脸图像检测方法， 其特征在于， 步 骤(2)具体包括 步骤： (21)根据步骤(1)得到包含人脸特征图片的数据集P， 维度为(N， H， W， C)， 其中H、 W为图 片的高和 宽， C为彩色通道数， N为图片个数， 将图片中的人脸区域进行单独截取记作P ′； 处 理完之后， 将P通过特定的SRM滤波器进行插值检测， 得到富含插值检测信息的新矩阵； 所述 特定的SRM滤波器是由残差矩阵构成， 残差矩阵中各元素 的系数由所属像素点和中心节点 距离以及当前阶数决定： 系 数 其中t代表当前像素点位置最少经过几次 跳跃到达主像素点 位置的跳数， n代 表当前分析的阶数； (22)将步骤(2 1)得到的富含插值检测信息的新矩阵与原有的人脸特征信息融合， 之后权　利　要　求　书 1/3 页 2 CN 115223217 A 2放到残差网络中进 行降维得到融合特征， 所述残差网络结构由卷积层、 池化层、 全连接层堆 叠而成； (23)将步骤(22)得到的融合特征通过XceptionNet进行进一步的特征提取， 最后对特 征进行拼接得到融合底层特 征和插值特 征的输出向量S ′o。 4.根据权利要求1所述的基于图像取证技术的虚假人脸图像检测方法， 其特征在于， 步 骤(3)具体包括： 将步骤(1)中得到的包含人脸特征图片的数据集P， 经过PRNU算法得到具有背景噪声特 点的矩阵表示， PRNU算法的计算过程如公式1所示： 式中： Y代表最终图像输出， 在本发明中代表灰度图， I为输入信号， k为PRNU参数， μ为多 种干扰源的附加噪声组合， g为彩色通道增益， γ为校正因子， 一般为0.45， θ是量化噪声， I0 是无噪音时信号输出， θ0是互相独立的随机噪声集 合； 之后通过与原图像输出Y进行计算得 出残留噪声W如公式2所示： W＝Y‑I0′＝Yk+I0‑I0′+(I0‑Y)k+θ0＝Yk+θ0′    (2) 式中： θ0′代表的是θ0、 I0‑I0′和(I0‑I)k这三项的总和， 对于所有图像， 为了简便计算， θ0′ 一般设置为 服从方差为σ2， 均值为0的高斯分布； 最后通过对公式2进行对k的log似然估计， 得出全局的PRNU算法平均参数 如公式3所 示， 其中下标i代表将原图像分成i份， 每一部分逐次计算， 最终得出的 为原图大小的矩 阵； 首先计算全图的平均噪声参数 之后通过分割全局图像， 利用相同的原理计算局部的 ki， 之后单独与 进行阈值比较就能得 出每个局部是否进行 过修改的结论； 将ki和 的比值映射到神经元之中， 去除固定 阈值对于模型的影响， 得到输出矩阵集合 Pi。 ； 利用Attention机制消除固定阈值的影响： Attention机制的输入包括三个部分， 分别是查询(Query， Q)， 键(Key， K)和值(Value， V)， 其中K和V有着一一对应的关系， V与K完全一致； 通过计算Q与K之间的关联程度， 将其作 为V的权值， 对V进行加权求和， 得到 输出结果， 具体如公式4所示： 式中： d表示 Query和K ey中元素的维度， 起到 了缩放点积运算结果的作用。 5.一种权利要求1 ‑4之一所述的基于图像取证技术的虚假人脸图像检测方法的可视化 展示系统， 其特征在于， 所述系统包括： 用户交互模块、 后台执行模块， 后台执行模块又可分 为数据管理模块、 预处 理模块以及分析模块；权　利　要　求　书 2/3 页 3 CN 115223217 A 3