(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210158517.8 (22)申请日 2022.02.21 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 唐俊　蒋文龙　朱明　王年　张艳　 鲍文霞　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06V 10/44(2022.01) G06V 40/10(2022.01) G06V 10/778(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于GAN网络的光学赤足迹图像轮廓提 取方法 (57)摘要 本发明涉及一种基于GAN网络的光学赤足迹 图像轮廓提取方法， 包括： 通过光学足迹采集仪 采集原始光学赤足迹图像； 制作训练集和测试 集； 通过残差网络构建生成器； 通过PatchGAN马 尔可夫判别器构建鉴别器； 将生成器和鉴别器组 成CycleGAN循环生成对抗网络作为训练网络； 将 训练集送入训练网络中进行训练； 使用训练后的 生成器作为轮廓提取测试网络， 输入测试集的源 域数据， 得到光学赤足迹图像轮廓。 本发明可 以 直接在经过简单预处理的原始光学赤足迹图像 上进行一套统一流程的操作提取轮廓图像， 简化 轮廓提取的流程； 本发明可以忽略不同原始图像 之间的差异， 使用相同参数的网络处理同一批次 的数据， 减少轮廓提取的计算 量。 权利要求书3页 说明书10页 附图3页 CN 114529737 A 2022.05.24 CN 114529737 A 1.一种基于GAN网络的光学赤足迹图像轮廓提取方法， 其特征在于： 该方法包括下列顺 序的步骤： (1)通过光学足迹采集仪采集原 始光学赤足迹图像； (2)制作训练集和 测试集； (3)通过残差网络构建生成器； (4)通过Patc hGAN马尔可 夫判别器构建鉴别器； (5)将生成器和鉴别器组成CycleGAN循环生成对抗网络， 将CycleGAN循环生成对抗网 络作为训练网络； (6)将训练集送入训练网络中进行训练； (7)使用训练后的生成器作为轮廓提取测试网络， 输入测试集的源域数据， 得到光学赤 足迹图像 轮廓。 2.根据权利要求1所述的基于GAN网络的光学赤足迹图像轮廓提取方法， 其特征在于： 所述步骤(2)具体包括以下步骤： (2a)将所有原 始光学赤足迹图像统一 为右脚图像， 并擦除图像中的标尺； (2b)从原始光学赤足迹图像 中随机抽取图像作为训练集和测试集的源域数据， 再随机 抽取图像经处 理后作为训练集的目标域数据。 3.根据权利要求1所述的基于GAN网络的光学赤足迹图像轮廓提取方法， 其特征在于： 所述步骤(3)具体包括以下步骤： (3a)所述生成器为具有9个残差块的残差网络结构， 用c7s1_k表示一个含有k个滤波 器， 卷积核 大小为7*7， 步长为1的下采样层； 用dk表 示一个含有k个滤波器， 卷积核 大小为3* 3， 步长为2的下采样层； 用r k表示一个包含两个含有k个滤波器， 卷积核 大小为3*3的卷积层 的残差块； 用uk表 示一个含有k个滤波器， 卷积核大小为3*3， 步长为1/2的上采样层； 生 成器 的结构表示为： c7s1_64， d128， d256， r256， r256， r256， r256， r256， r256， r256， r256， r256， u128， u64， c7s1_3； 在生成器的最后 一个残差块的两个卷积层之后加入自注意力模块， 对得到的特征进行 重标定， 公式如下： 其中： e(xi)是空间e中的特征图e(x)中的第i行， g(xj)表示空间g中的特征图g(x)中的 第j行， si， j表示二维矩阵s中的第i行第j列元素， βi， j是二维矩阵β 第i行第j列的元素， i表示 的是行数， N表示i的最大取值范围， h(xi)是空间h中的特征图h(x)中的第i行； 公式(1)为注 意力掩膜计算公式， 公式(2)为特 征重标定计算公式； (3b)在生成器中每一个卷积层之后进行谱 归一化操作： fw(x)＝Wx＝U∑Vx            (3) 其中， U表示一个m*m的正交矩阵， ∑是一个m*n的对角矩阵， 对角线上的数为权重矩阵W 的奇异值， V为 一个n*n的正交矩阵， x为变量。 4.根据权利要求1所述的基于GAN网络的光学赤足迹图像轮廓提取方法， 其特征在于：权　利　要　求　书 1/3 页 2 CN 114529737 A 2所述步骤(5)具体包括以下步骤： 用ai和bi分别表示源域和目标域中的一个样本， 则CycleGAN循环生成对抗网络表示如 下： ai→G_A(ai)→G_B(G_A(ai)) bi→G_B(bi)→G_A(G_B(bi)) 源域A中的一个样本ai经过生成器G_A转变到目标域中， 标记为G_A(ai)， 然后G_A(ai)又 经过生成器G_B转变到源域中， 标记为G_B(G_A(ai))； 目标域B中 的一个样本bi经过生成器G_B转变到源域中， 标记为G_B(bi)， 然后G_B(bi)又 经过生成器G_A转变到目标域中， 标记为G_A(G_B(bi))； G_A(ai)和G_B(bi)均为生成样本， G_B(G_A(ai))和G_A(G_B(bi))均为循环生成样本； (5a)使用Wasser stein距离代替传统的 以交叉熵为基准的对抗损失， Wasserstein距离 的计算公式如下： 式中， Π(Pr， Pg)表示真实分布Pr与生成分布Pg组合的所有联合 分布的集合， γ表示联合 分布的集合中的任一分布， 变量x表示γ中的一个真实样本， 变量y表示γ中的一个生成样 本， E(x， y)～γ[||x‑y||]表示γ对x与y距离的期望， 计算出联合分布的集合 中， 该期望的下边 界 为将Wasserstein距离加入到CycleGAN循环生成对抗网络的训练过程中， 将公式(4)变 形为公式(5)： 式中， ||f||L≤K表示函数f在K上是李普希茨连续的， 即f的导函数绝对值小于K， K≥0， sup表示对 满足情况的函数f取 上边界； 在CycleGAN循环生成对抗网络 的训练过程中， 将函数f(x)定义成一个包含权重w的目 标函数进行求 解， 即将公式(5)转换为公式(6)： 优化目标函数fw(x)即找到使fw(x)的值最优的权重w值， 就是求w的最优解， 将函数f(x) 定义成一个包含权重w的目标函数 fw(x)， 由于fw(x)＝Wx， W是权重矩阵， w是权重； ||fw||L≤K 表示函数fw在K上是李普希茨连续的， 即fw的导函数绝对值小于K； E表 示期望， Pr表示真实分 布， x～Pr表示样本x来自真实分布， Pg表示生成分布， x～Pg表示样本x来自生成分布， 表示样本x来自真实分布Pr时fw(x)值的期望， 表示样本x来 自生成分布Pg时fw(x)值的期望； 根据公式(6)， 重新构造CycleGAN循环生成对抗网络中判别器 的目标函数为公式(7)， 在保证函数fw(x)具有李普希茨连续的前提下， 此时优化判别器等价于优化真实分布以及 生成分布之间的Was serstein距离： 权　利　要　求　书 2/3 页 3 CN 114529737 A 3