(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221017380 0.8 (22)申请日 2022.02.24 (71)申请人 郑州大学 地址 450000 河南省郑州市高新 技术开发 区科学大道100号 (72)发明人 薛均晓　翟蓝航　石磊　高宇飞　 刘成明　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 陈攀 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 一种多模态数据融合神经网络的虚假新闻 图像检测方法 (57)摘要 本发明涉及计算机应用技术领域， 具体涉及 一种多模态数据融合神经网络的虚假新闻图像 检测方法， 包括视觉模态模块、 视觉特征融合模 块、 物理特征模块和集成模块。 本发明通过视觉 模态模块， 输入图像进行特征提取， 然后通过视 觉特征融合模块将特征串 联起来， 对提取的特征 进行降维， 集中矩阵计算、 特征值分解得到投影 矩阵， 再利用SoftMax函数获得真假 图像的目标 空间的概率 分布， 接下来通过物理特征模块对图 像的物理特征进行提取， 最终输入集成模块， 集 成模块结合图像的物理特征和图像的视觉模态 预测结果， 再使用XGBoost对最终的虚假新闻图 像进行识别， 尽量避免了 现有的虚假新闻图像的 检测方式一般通过人工进行检测， 人工检测不仅 效率低下， 而 且费时费力的问题。 权利要求书1页 说明书5页 附图1页 CN 114612679 A 2022.06.10 CN 114612679 A 1.一种多模态数据融合神经网络的虚假新闻 图像检测方法， 包括视觉模态模块(1)、 视 觉特征融合模块(2)、 物理特征模块(3)和集成模块(4)四个模块， 其特征在于： 所述视觉模 态模块(1)， 对输入图像应用误差水平分析(ELA)算法， 获得被篡改区域的位置； 使用预训练 的ResNet50对输入图像进行特征提取； 之后将其分成三个RGB通道， 然后在三个通道中分别 进行离散余弦变换(D CT)， 然后 将它们结合起来对图像进 行傅里叶变换， 得到频率的特征表 示域； 所述视觉特征融合模块， 首先将特征串联起来， 对提取的特征进行降维， 集中矩阵计 算， 特征值分解， 随后得到投影矩阵。 之后再利用SoftMax函数获得真假图像的目标空间的 概率分布； 所述物理特征模块， 用于对图像的物理特征进行提取， 所述集成模块， 用于结合图像的 物理特征和图像的视觉模态预测结果， 进而再使用XGBoost对最终的虚假新闻图像进行识 别。 2.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述视觉模态模块(1)， 从图像的像素域、 频域和梯度直方图中提取图像特征。 从 篡改检测、 语义检测 和频域检测三个分支实现较为全面的图像 检测。 3.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述视觉特征融合模块(2)包括， 特征融合、 主成分分析和SoftMax函数， 所述特 征融合用于将图片的特征串联， 所述主成分分析用于对图片特征进行矩阵计算和特征值分 解， 所述SoftMax函数用于对图像进行识别。 4.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述物理特征模块(3)用于提取图像的物理特征， 例如图像的大小， 清晰度， 图像 的长和宽的量 化值作为检测假 新闻图像的物理特 征。 5.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述集成模块(4)包括集成和结果， 所述集成用于汇集所述物理特征模块(3)提 取的图像物理特 征， 所述结果用于结合图像的物理特 征和图像的视 觉模态预测结果。 6.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述视觉特征融合模块(2)， 用于在类别分类时降低正样本判定为负样 本的错误 率， 从而使卷积神经网络在训练学习时， 可以得到更多的有效信息 。 7.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述误差水平分析(ELA)算法使用预先训练的残差网络(ResNet50)来提取特征 并相应地获得被篡改区域的位置 。 8.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法， 其 特征在于： 所述离散余弦变换(DCT)+傅里叶变换首先分成三个RGB通道， 并在三个通道中分 别进行离散余弦变换(DCT)。 最终进行结合后对图像进行傅里叶变换得到频率的特征表示 域。 这个特性随后被用作ResNet5 0的输入。权　利　要　求　书 1/1 页 2 CN 114612679 A 2一种多模 态数据融合神经 网络的虚假新 闻图像检测方 法 技术领域 本发明涉及计算机应用技术领域， 具体为一种多模态数据融合神经网络的虚假新 闻图像检测方法。 背景技术 对于虚假新闻图像的检测， 在及时遏制谣言的传播， 维护国家秩序等方面有着举 足轻重的作用。 目前的图像检测方法仍无法对新闻图像进 行是否经过数字修改和是否含有 虚假语义信息这两方面进行全面 性的检测。 现有的虚假新闻图像的检测方式一般通过人工进行检测， 人工检测不仅效率低 下， 而且费时费力。 发明内容 针对现有技术的不足， 本发明提供了一种多模态数据融合神经网络的虚假新闻图 像检测方法， 克服了现有技术的不足， 旨在解决现有的虚假新闻图像的检测方式一般通过 人工进行检测， 人工检测不仅效率低下， 而且费时费力的问题。 为实现上述目的， 本发明提供如下技术方案： 一种多模态数据 融合神经网络 的虚 假新闻图像检测方法， 包括视觉模态模块、 视觉特征融合模块、 物理特征模块和集成模块四 个模块， 所述视觉模态模块， 对输入图像应用误差水平分析(ELA)算法， 获得被篡改区域的 位置； 使用预训练的ResNet50对输入图像进行特征提取； 之后将其分成三个RGB通道， 然后 在三个通道中分别进 行离散余弦变换(D CT)， 然后将它们结合起来对图像进 行傅里叶变换， 得到频率的特 征表示域； 所述视觉特征融合模块， 首先将特征串联起来， 对提取的特征进行降维， 集中矩阵 计算， 特征值分解， 随后得到投影矩阵,之后再利用SoftMax函数获得真假图像的目标空间 的概率分布； 所述物理特征模块， 用于对图像的物理特征进行提取， 所述集成模块， 用于结合图 像的物理特征和图像的视觉模态预测结果， 进而再使用XGBoost对最终的虚假新闻图像进 行识别。 作为本发明的一种优选技术方案， 所述视觉模态模块， 从图像的像素域、 频域和梯 度直方图中提取图像特征。 从篡改检测、 语义检测和频域检测三个分支实现较为全面的图 像检测。 作为本发明的一种优选技术方案， 所述视觉特征融合模块包括， 特征融合、 主成分 分析和SoftMax函数， 所述特征融合用于将图片的特征串联， 所述主成分分析用于对图片特 征进行矩阵计算和特 征值分解， 所述SoftMax函数用于对图像进行识别。 作为本发明的一种优选技术方案， 所述物理特征模块用于提取图像的物理特征， 例如图像的大小， 清晰度， 图像的长和宽的量 化值作为检测假 新闻图像的物理特 征。 作为本发明的一种优选技术方案， 所述集成模块包括集成和结果， 所述集成用于说　明　书 1/5 页 3 CN 114612679 A 3