(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569952.X (22)申请日 2022.05.24 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 李兴华　汤佳伟　章海燕　许勐璠　 刘佼　苗银宾　张俊伟　姜奇　 郭晶晶　马建峰　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 刘长春 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于卷积层激活差异的对抗图像检测方法 及装置 (57)摘要 本发明公开了一种基于卷积层激活差异的 对抗图像检测方法及装置， 包括： 获取待处理图 像， 并将待处理图像输入至图像分类模型； 获取 图像分类模 型中预设卷积层输出的特征图， 并确 定特征图的激活比例； 将激活比例输入检测模型 后， 根据检测模 型的输出判断图像 分类模型对待 处理图像的分类结果是否存在异常； 其中， 检测 模型为预先以正常图像及对抗样本在图像分类 模型中的激活比例作为训练样 本进行训练后， 获 得的全连接神经网络模型。 本发 明通过在图像分 类模型的正常前向传播过程中进行特征图激活 比例的计算， 在几乎不会 给线上应用造成时延的 同时， 使检测模 型根据激活比例判断分类结果是 否存在异常， 从而对已上线的图像 分类模型进行 安全加固。 权利要求书2页 说明书10页 附图3页 CN 115187789 A 2022.10.14 CN 115187789 A 1.一种基于卷积层激活差异的对抗图像 检测方法， 其特 征在于， 包括： 获取待处理图像， 并将所述待处理图像输入至 图像分类模型； 所述图像分类模型为预 先训练好的卷积神经网络模型， 包括： 卷积层、 池化层和全连接层； 获取所述图像分类模型中预设卷积层输出的特 征图， 并确定所述特 征图的激活比例； 将所述激活比例输入检测模型后， 根据所述检测模型的输出判断所述图像分类模型对 待处理图像的分类结果是否存在异常； 其中， 所述检测模型为： 预先以正常图像及 对抗样本 在所述图像分类模型中的激活比例作为训练样本进行训练后， 获得的表示输入图像的异常 概率的全连接神经网络模型。 2.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法， 其特征在于， 所述 获取所述图像分类模型中预设卷积层输出的特征图， 并确定所述特征图的激活比例的步 骤， 包括： 选取所述图像分类模型中的两个卷积层后， 分别获得所述两个卷积层输出的第 一特征 图及第二特 征图； 分别计算所述第一特 征图和所述第二特 征图的激活比例。 3.根据权利要求2所述的基于卷积层激活差异的对抗图像检测方法， 其特征在于， 所述 分别计算所述第一特 征图和所述第二特 征图的激活比例的步骤， 包括： 计算所述第一特 征图中各通道的激活比例， 得到第一激活比例； 计算所述第二特 征图中各通道的激活比例， 得到第二激活比例。 4.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法， 其特征在于， 按照 如下公式确定所述特 征图的激活比例： 其中， M表示卷积层输出的特征图， h、 w分别表示所述特征图的高和宽， φ表示预设阈 值， e表示特征图中的矩阵元素， 特征图中大于所述预设阈值的矩阵元素被视作激活， R表 示 计算得到的特 征图激活比例。 5.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法， 其特征在于， 所述 检测模型采用如下步骤训练获得： 获取第一类训练样本， 所述第 一类训练样本包括： 多个正常图像、 所述正常图像对应的 正常激活比例、 各正常图像对应的多个对抗样本以及所述对抗样本对应的异常激活比例； 将预设数量个第 一类训练样本输入至待训练全连接神经网络模型， 并根据所述待训练 全连接神经网络模型的输出 结果和预设损失函数， 确定损失值； 根据所述损 失值判断待训练全连接神经网络模型是否收敛； 如果收敛， 则待训练全连 接神经网络模型为训练完成的检测模型； 如果未收敛， 则调整待训练全连接神经网络模型的网络参数， 并返回所述将预设数量 个第一类训练样本 输入至待训练全连接神经网络模型的步骤。 6.根据权利要求5所述的基于卷积层激活差异的对抗图像检测方法， 其特征在于， 所述 第一类训练样本采用如下步骤获得： 获取第一训练样本； 所述第一训练样本包括多个正常图像；权　利　要　求　书 1/2 页 2 CN 115187789 A 2将所述第一训练样本输入至所述图像分类模型后， 获得所述图像分类模型中所有卷积 层输出的特 征图， 并确定该 特征图的正常激活比例； 生成各所述正常图像对应的多个对抗样本， 得到第二训练样本； 将所述第二训练样本输入至所述图像分类模型后， 获得所述图像分类模型中所有卷积 层输出的特 征图， 并确定该 特征图的异常激活比例； 生成第一类训练样本， 所述第一类训练样本包括： 各正常图像的正常激活比例以及各 正常图像对应的多个对抗样本的异常激活比例。 7.一种基于卷积层激活差异的对抗图像 检测装置， 其特 征在于， 包括： 第一获取模块， 用于获取待处理图像， 并将所述待处理图像输入至图像分类模型； 所述 图像分类模型为预 先训练好的卷积神经网络模型， 包括： 卷积层、 池化层和全连接层； 第二获取模块， 用于获取所述图像分类模型中预设卷积层输出的特征图， 并确定所述 特征图的激活比例； 输入模块， 用于将所述激活比例输入检测模型后， 根据所述检测模型的输出判断所述 图像分类模型对待处理图像的分类结果是否存在异常； 其中， 所述检测模型为： 预先以正常 图像及对抗样本在所述图像分类模型中的激活比例作为训练样本进行训练后， 获得的表示 输入图像的异常概 率的全连接神经网络模型。权　利　要　求　书 2/2 页 3 CN 115187789 A 3