(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579459.6 (22)申请日 2022.05.25 (71)申请人 杭州师范大学 地址 311121 浙江省杭州市余杭区余杭塘 路2318号 (72)发明人 孙军梅　袁珑　李秀梅　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱亚冠 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) (54)发明名称 一种结合低频信息和特征的目标检测对抗 攻方法和装置 (57)摘要 本发明针对目标检测现有攻击方法可迁移 性差这个问题， 提出一种结合低频信息和特征的 目标检测对抗攻方法和装置。 在传统的基于梯度 的对抗攻击方法上， 通过增加特征图对抗损失来 增强对抗样本的迁移性。 同时从频域的角度， 引 入低频扰动的对抗损失作为优化函数， 来控制低 频扰动的扰动方向， 从而进一步提高对抗样本的 黑盒攻击性能。 同时为了优化损失， 通过使用基 于梯度的类激活映射技术得到包含图像关键特 征的注意力权重矩阵， 对生成的扰动进一步处 理， 约束扰动的生成范围， 减少冗余噪声的生成， 从而提高对抗样本的攻击性能。 本发 明方法与现 有的攻击方法相比， 不仅在白盒攻击性能上优 异， 同时针对黑盒模型的攻击也有更高的攻击效 果。 权利要求书3页 说明书7页 附图2页 CN 114926708 A 2022.08.19 CN 114926708 A 1.结合图像低频信 息和关键特征的目标检测对抗攻击方法， 其特征在于该方法包括以 下步骤： 步骤一、 对干净图片x通过基于梯度的方法生成初始阶段的对抗样本xadv； 步骤二、 将干净图片x和对抗样本xadv分别通过二维离散傅里叶正变换提取低频信息 并 转化成空间域图像， 再经过二维离散傅里叶逆变换得到原图分离的低频图像xlow、 对抗样本 分离的低频图像 步骤三、 将xlow、 输入到待攻击的目标检测模型f中分别计算干净图像和当前对抗样 本xadv的对抗损失Ladv(x,xadv)以及干净图像对应低频信息和当前对抗样 本对应低频信息之 间的对抗损失 步骤四、 将步骤三得到的两种对抗损失相加作 为综合损失函数， 并通过MI ‑FGSM方法来 执行梯度下降， 得到相应的对抗样本x ′adv； 步骤五、 对干净图片x通过基于梯度的类激活映射方法提取图像的特征区域并生成注 意力权重矩阵Mask， 然后将注意力权重矩阵Mask与步骤四得到的对抗样本进行点乘， 以此 来优化生成的扰动， 得到新的对抗样本 步骤六、 将步骤五得到的对抗样本 作为步骤二中对抗样本， 重复迭代执行步骤二至 步骤五， 迭代停止的条件为迭代 次数达到阈值T或者为生成的对抗样本和原始样本之间的 无穷范数距离大于设定的阈值 ε,迭代 停止后输出最终的对抗样本 。 2.根据权利要求1所述的结合图像低频信息和关键特征的目标检测对抗攻击方法， 其 特征在于： 步骤二所述的二 维离散傅里叶变换提取低频信息并转化成空间域图像操作过程 如下： 对输入图像x进行二维傅里叶变换的操作记为F(x)， 得到相应的频谱图z； 在频谱图z 中， 中间的点是低频， 远离图像中心的点则 是高频； 设置如公式(2)的阈值函数， 以r为超参 数半径画圆， 圆内的点划分为低频分量zlow， 圆外的点划分为高频分量zhigh； 式中， d(·)为距离函数， o(io,jo)表示坐标为io,jo的圆心， z(i,j)表示坐标为i,j的分 量； 将上述对频谱图z以半径r分离高低频的操作简化为Q(z； r)； 对低频信息zlow进行傅里 叶逆变换 F‑1(zlow)得到对应的空间域图像， 便 于后面参与神经网络的前向传播。 3.根据权利要求1所述的结合图像低频信息和关键特征的目标检测对抗攻击方法， 其 特征在于： 步骤三对抗损失Ladv(x,xadv)、 分别采用待攻击的目标检测模型输入 为x,xadv或xlow, 下得到的总损失Ladv； 所述总损失Ladv包括置信度损失和特 征损失；权　利　要　求　书 1/3 页 2 CN 114926708 A 2所述置信度损失用来 误导网络将图像的前 景分为背景； 置信度损失函数如式(3)： 式(3)中， M表示区域提议网络RPN得到符合条件的建议框数量； lBCE是二元交叉熵损失； Ci代表第i个建议框的置信度得分； 所述特征损失通过对待攻击的目标检测模型的特征提取网络G提取的若干 中间特征层 进行攻击， 操作如式(4)： 式中， N表示选取的中间特征层的数量， fi表示以干净图像为输入， G输出的第i个特征 层， fi′表示以对抗样本为输入， G输出的第i个特 征层； 故所述的总损失函数如式(5)所示： Ladv＝Lconfidence+β·Lfeature              (5) 式中， β 为权 重系数。 4.根据权利要求1所述的结合图像低频信息和关键特征的目标检测对抗攻击方法， 其 特征在于： 步骤四所述的MI ‑FGSM方法， 公式如下： 式中， gi+1表示经过i次迭代以后累计的梯度动量， μ为衰减系数， α 为学习率， 表示对 原始图片x求导， L(xi, θ )表示计算输入当前对抗样本xi进入到参数为θ 的模型中得到的损 失， xi表示当前迭代的对抗样本， sign(gi+1)表示对梯度动量gi+1取符号函数； 每次累计梯度时， 通常将当前计算的梯度进行归一化后， 再加到本次迭代的梯度动量 上去； 每轮迭代生成当前阶段的对抗样本时需要用cl ip函数进行像素的裁 剪。 5.根据权利要求1所述的结合图像低频信息和关键特征的目标检测对抗攻击方法， 其 特征在于： 步骤五所述的用Grad ‑CAM对干净图片进行注 意力权重矩阵的生成过程主要包含 四个步骤： (1)通过待攻击的目标检测模型对干净图片x进行检测， 得到检测结果； (2)依次对(1)中得到的检测结果中的每个对象的分类得分进行反向传播， 计算该对象 对应RPN网络的特 征图， 并根据该 特征图生成热力图； (3)为得到和x相同形状的热力图， 对(2)得到的所有热力图进行重采样， 然后进行相加 得到完整的热力图； (4)对(3)得到的完整热力图进行归一 化， 得到注意力权 重矩阵。 6.根据权利要求3所述的结合图像低频信息和关键特征的目标检测对抗攻击方法， 其 特征在于： 选取的待攻击的目标检测模 型为FasterR ‑CNN， 待攻击的目标检测模 型的特征提 取网络G为VG G16。 7.一种计算设备， 包括存储器和处理器， 所述存储器中存储有可执行代码， 所述处理器 执行所述可执行代码时， 实现权利要求1 ‑6任一项所述的方法。权　利　要　求　书 2/3 页 3 CN 114926708 A 3