(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989237.1 (22)申请日 2022.08.17 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 阳媛　王紫航　严如强　徐佳文　 杨浩然　况余进　蔡杰　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于改进CycleGAN的机场场面目标检 测多天气数据增强方法 (57)摘要 本发明公开了一种基于改进CycleGAN的机 场场面目标检测多天气数据增强方法。 在原始 CycleGAN网络的基础上， 通过扩充残差网络块、 编解码器的跨层连接以及引入注意力机制的方 式改进生成器网络， 同时设计动态加权多尺度判 别器网络， 使用正常天气下的机场场面小样本目 标检测数据集 以及典型恶劣天气下的辅助数据 集进行训练， 获得多天气图像生成网络， 进而有 效生成雨天、 雾天、 夜晚等多种天气条件下的高 质量目标检测图像， 增加数据样本的多样性。 本 发明作为一种有效的节约标注成本的数据增强 方法， 提升了小样本条件下的机场场面目标检测 网络性能。 权利要求书2页 说明书4页 附图2页 CN 115376066 A 2022.11.22 CN 115376066 A 1.一种基于改进CycleGAN的机场场面目标检测多天气数据增 强方法， 其特征在于， 所 述方法包括如下步骤： 步骤S1、 图像数据采集和预处 理， 数据集制作； 所述步骤S1具体过程 为： 通过机场场 面监控摄像头采集源图像数据集， 获取一段时间内正常天气下的目标检测 数据并进行 标注， 作为原 始小样本目标检测数据集； 采集典型恶劣天气下的图像数据， 作为辅助天气数据集； 对上述两个原始数据集进行基础的数据增强操作， 得到改进CycleGAN网络的训练数据 集； 步骤S2、 改进的注意力机制生成器网络构建； 所述步骤S2具体过程 为： 对原始CycleGAN网络生成器里的残差风格转换网络进行扩充， 在编码和解码部分的每 个卷积块后均加入一个两层卷积残差网络块； 在原始CycleGAN网络的生成器中， 引入U ‑Net中的跳跃连接思想， 即编解码对应部分进 行跨层连接操作； 使用密集连接网络DenseNet替代 原始CycleGAN网络生成器中的残差风格转换网络； 在风格转换网络DenseNet左右两端各 添加一个注意力机制模块； 步骤S3、 动态加权多尺度判别器网络构建； 所述步骤S3具体过程 为： 通过两个不同尺度的PatchGAN全卷积网络支路对图像进行下采样操作， 得到不同尺寸 的图像判别结果； 步骤S4、 对抗 性训练； 所述步骤S4具体过程 为： 在上述改进的生成器与判别器网络基础上调整原 始CycleGAN网络的损失函数， 即： L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)+LIdentity(G,F) 其中 为循环一致性损失， 为恒等损失， LGAN(G,DY,X,Y) 为修正的生成对抗网络损失， 此处对多尺度判别器网络损失进行动态加权， 具体地： 由dA1＝2(1‑2(L1))和dA2＝2(1‑2(L2))分别计算A ‑distance， 从而得到动态加权因子 最后有 LGAN(G,DY,X,Y)＝α L1+(1‑α )L2 LGAN(F,DX,Y,X)同理； 上述损失函数中G,F,DX,DY分别为原始小样本目标检测数据X到辅助天气数据Y的生成 器， 辅助天气数据Y到原始小样本目标检测数据X的生成器， 以原始小样 本目标检测数据X为权　利　要　求　书 1/2 页 2 CN 115376066 A 2真实样本的判别器， 以辅助天气数据Y为真实样本的判别器； DY1、 DX1和DY2、 DX2分别为上述两 个不同尺度的判别器， λ为 惩罚系数， 网络参数由下式通过梯度下降训练得到： G*,F*＝arg minG,FmaxDX,DYL(G,F,DX,DY)。 2.根据权利 要求1所述的一种基于改进CycleGAN的机场场面目标检测多天气数据增强 方法， 其特 征在于： 所述步骤S1中正常天气为白天且晴天。 3.根据权利 要求1所述的一种基于改进CycleGAN的机场场面目标检测多天气数据增强 方法， 其特 征在于： 所述步骤S1中目标包括特种车辆和飞行器。 4.根据权利 要求1所述的一种基于改进CycleGAN的机场场面目标检测多天气数据增强 方法， 其特 征在于： 所述步骤S1中典型恶劣天气包括阴天、 雨天、 雾天和夜晚。 5.根据权利 要求1所述的一种基于改进CycleGAN的机场场面目标检测多天气数据增强 方法， 其特 征在于： 所述步骤S1中数据增强操作包括旋转、 缩放和翻转。 6.根据权利 要求1所述的一种基于改进CycleGAN的机场场面目标检测多天气数据增强 方法， 其特 征在于： 所述步骤S2中注意力机制模块 为空间通道混合注意力机制。权　利　要　求　书 2/2 页 3 CN 115376066 A 3