(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393383.8 (22)申请日 2022.04.14 (71)申请人 江苏集萃清联智控科技有限公司 地址 214124 江苏省无锡市经济开发区高 浪东路999-8-D1-603 (72)发明人 谢国涛　周健群　秦晓辉　徐彪　 胡满江　边有钢　秦兆博　秦洪懋　 王晓伟　 (74)专利代理 机构 北京汇智胜知识产权代理事 务所(普通 合伙) 11346 专利代理师 赵立军 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06T 5/50(2006.01) G06T 11/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于条件生成对抗网络的水下声学数据集 增广方法及系统 (57)摘要 本发明公开了一种基于条件生成对抗网络 的水下声学数据集增广方法和系统， 其包括： 步 骤1， 获取声纳数据集和遥感数据集中目标物的 切片， 对切片中的目标物图像进行轮廓增强和像 素填充， 保留合格的切片中的目标物类别信息， 并分类存储为样本； 步骤2， 通过条件生成对抗网 络， 将步骤1中未达到预设数量阈值的样本进行 增广； 步骤3， 将步骤1中达到预设数量的样本以 及由步骤2增广后的样本粘贴至所述声纳数据集 中的海底混响背景图上， 并将粘贴后的图像进行 优化处理后， 仿真成声纳图像， 形成声纳数据集。 本发明有利于丰富水下声学图像数据集， 并在此 基础上推动深度学习方法水下目标检测和分割 任务中的发展及应用， 以提高环 境感知目标检测 的准确性。 权利要求书4页 说明书9页 附图3页 CN 114821229 A 2022.07.29 CN 114821229 A 1.一种基于条件生成对抗网络的水 下声学数据集增广方法， 其特 征在于， 包括： 步骤1， 获取声纳数据集和遥感数据集中目标物的切片， 再对切片中的目标物图像进行 轮廓增强和像素填充， 剔除不合格的切片， 保留合格的切片中的目标物类别信息， 并分类存 储为样本； 步骤2， 通过条件生成对抗网络， 将步骤1中未达到预设数量阈值的样本进行增广； 其 中， 所述条件生 成对抗网络包括生 成器和判别器， 所述生 成器用于生成虚假图片， 所述判别 器用于接收训练数据中的真实图片和所述虚 假图片， 并估计样本来自所述真实图片而非来 自所述虚假图片的概 率； 步骤3， 将所述步骤1中达到预设数量的样本以及由所述步骤2增广后的样本粘贴至所 述声纳数据集中的海底混响背景图上， 并将粘贴后的图像进行优化处理后， 仿真成声纳图 像， 形成声纳数据集。 2.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法， 其特征在 于， 所述步骤1中获取 所述切片的方法具体包括： 步骤11， 以目标物为基本单位， 选取目标物落在切片中心位置的切片， 同时生成所述每 张切片对应的标注文件， 获得 所述切片； 步骤12， 将所述切片中目标物的轮廓进行增强； 步骤13， 在所述声纳数据集中的声纳图像 中选取包含目标像素信 息的图像块作为种子 图像， 通过 所述种子图像对所述目标物的轮廓内部进行填充。 3.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法， 其特征在 于， 所述步骤2具体包括： 步骤21， 以随机噪声和表示条件的目标物 的类别标签作为输入， 首先在所述生成器中 进行编码， 并通过所述生成器中相应层级的全连接层将编 码后的图片中的 “分布式特征 ”映 射到样本标记空间中， 再通过所述生成器中相应层级的Batch  normalization层归一化处 理， 通过所述生成器中相应层级的Leaky  ReLu激活函数向生成器网络中引入非线性因素， 并利用最后层级的全连接层和tanh 激活函数， 得到所述虚假图片； 其中， 所述 生成器的网络损失函数LG如下式(1)所示： 式中， n表示生成的所述虚假图片的数量； Zi表示第i张噪声； 表示标签为k的第 i张 所述虚假图片； D( ·)表示判别器的判别结果； 步骤22， 利用所述判别器对所有输入图片进行判别， 将类别标签信息与图片编码后， 经 由判别器中相应层级的全连接层、 Leaky  ReLu层， 并在最后一个全连接层得到图片中的样 本来自所述真实图片而非来自所述虚假图片的概率， 通过该概率判断所述虚拟图片是否合 格； 其中， 所述判断器的网络损失函数LD如下式(2)所示： 式中， m表示真实图片的数量； Zi表示第i张噪声； 表示标签为k的第i张所述虚假图 片； Rj,k表示标签为 k的第j张真实图片， D( ·)表示判别器的判别结果。权　利　要　求　书 1/4 页 2 CN 114821229 A 24.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法， 其特征在 于， 所述步骤2通过 条件生成对抗网络的总体目标函数(3)生成对抗网络： 式中， PR、 PG分别表示真实图片形成的集合和虚假图片的集合； D表示判别器的判别结 果， R、 Z、 Rk、 Gk表示真实图片、 输入的噪声分布、 标签 为k的真实图片和生成器生成的标签 为k 的虚假图片， 表示判别器判别出真实图片的概率， 表示判别器判别出虚假图 片的概率， 表示对于生成器V(D,G)的值越小越好， 而对于判别器V(D,G) 的值越大越好。 5.如权利要求1 ‑4中任一项所述的基于条件生成对抗网络的水下声学数据集增广方 法， 其特征在于， 所述 步骤3中的优化处 理方法具体包括： 步骤31， 先对图像进行旋转、 镜像、 缩放等操作， 然后随机生成一个贴图点(xnew,ynew)， 将贴图点与切片 中心点进行重合， 使切片贴于海底混响背景图上， 同时生成图片新的标注 信息； 步骤32， 先统计贴图后所有像素点的像素强度直方图， 计算出图像的灰度直方图以及 灰度直方图的累积分布函数， 根据累积分布函数和直方图均衡化原理得到输入与输出之间 的映射关系， 并根据该映射关系得到结果进 行图像变换， 增强图像整体对比度的效果； 最后 使用高斯滤波对图像进行平滑处理， 并使用二维零均值离散高斯函数做平滑滤波器， 其函 数可表示为式(4)： 式中： x为高斯图像的坐标系横坐标值， y为高斯图像的坐标系纵坐标值， σ 为高斯分布 参数， g(x)为高斯 函数。 6.一种基于条件生成对抗网络的水 下声学数据集增广系统， 其特 征在于， 包括： 切片获取单元， 其用于获取声纳数据集和遥感数据集中目标物的切片， 再对切片中的 目标物图像进行轮廓增强和像素填充， 剔除不合格的切片， 保留合格的切片 中的目标物类 别信息， 并分类存 储为样本； 虚拟数据增广单元， 其用于通过条件生成对抗网络， 将所述切片获取单元中未达到预 设数量阈值的样 本进行增广； 其中， 所述条件生成对抗网络包括生成器和判别器， 所述生成 器用于生成虚假图片， 所述判别器用于接 收训练数据中的真实 图片和所述虚假图片， 并估 计样本来自所述真实图片而非来自所述虚假图片的概 率； 声纳数据获取单元， 其用于将所述切片 获取单元中达到预设数量的样本以及由所述虚 拟数据增广单元增广后的样本粘贴至所述声纳数据集中的海底混响背 景图上， 并将粘贴后 的图像进行优化处 理后， 仿真成声纳图像， 形成声纳数据集。 7.如权利要求6所述的基于条件生成对抗网络的水下声学数据集增广系统， 其特征在 于， 所述切片获取 单元具体包括： 切片生成子单元， 其用于以目标物为基本单位， 选取目标物落在切片中心位置的切片， 同时生成所述每张切片对应的标注文件， 获得 所述切片； 轮廓增强子单 元， 其用于将所述切片中目标物的轮廓进行增强；权　利　要　求　书 2/4 页 3 CN 114821229 A 3