(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601678.X (22)申请日 2022.05.30 (71)申请人 天津理工大 学 地址 300384 天津市西青区 宾水西道391号 (72)发明人 何甜　程徐　石凡　赵萌　陈胜勇　 (74)专利代理 机构 北京市中 闻律师事务所 11388 专利代理师 雷电 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 一种基于联邦学习的空中多视觉平台地面 异常检测方法 (57)摘要 本发明提供了一种基于联邦学习的空中多 视觉平台地面异常检测方法， 属于计算机视觉领 域。 该方法步骤如下： 每个视觉平台利用设备采 集地面异常数据并标注； 每个视觉平台对其本地 数据集执行本地训练； 在本地训练阶段， 计算模 型训练损失以及模型间的对比损失； 在本地迭代 训练后， 将各本地模型更新上传至服务器； 服务 器将接收到的所有参数安全聚合后得到新的全 局模型， 并下 发新的全局模型参数到每个视觉平 台； 循环执行 以上步骤至通信轮次结束， 全局模 型收敛。 每个视觉平台使用最终全局模型执行异 常检测任务。 本发明通过模型对比的方式纠正本 地模型更新， 得到表征能力更强的全局模型， 在 地面异常检测领域， 能够提高异常检测的指标。 权利要求书2页 说明书5页 附图1页 CN 114998251 A 2022.09.02 CN 114998251 A 1.一种基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在于， 包括步骤如 下： (1)收集各地地面异常图像， 并对图像进行像素级别标注为正负样本， 包括地面异常的 位置和精确的边界， 形成地 面异常数据集； (2)设计适用于所述地面异常数据集的神经网络， 在各地客户端对各地地面异常数据 集进行本地训练， 得到本地模型， 以实现对地面是否存在异常进行判断且对地面异常图像 进行分割； (3)采用联邦学习方法将步骤(2)中在各地客户端得到的本地模型上传至全局服务端， 得到表征能力更强的全局模型； (4)全局服务端与各地客户端进行多次通讯， 连续地对本地客户端与全局服务端进行 模型更新， 得到集成各地数据的最终模型； (5)通过计算精确度、 召回率和F1值对所述 最终模型的性能进行评价。 2.如权利要求1所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 步骤(2)中所述的神经网络为卷积神经网络， 所述的神经网络对图像中的地面异常进 行 特征学习。 3.如权利要求2所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 步骤(2)中神经网络利用分层特征提取网络即VGG16的前13层， 提取地面异常目标不同 分辨率大小的特 征， 包括大分辨 率的纹理特征以及小分辨 率的抽象特 征。 4.如权利要求3所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 在提取不同分辨率大小的特征后， 使用一个选择性特征融合模块对特征提取网络提取 到的不同尺度特征进 行选择性的融合， 使网络中不同尺度层能交互性地学习到其他层次的 有用的特征并且去除冗余特征的干扰， 使每层都能聚集到深层的全局语义特征并且保留浅 层的局部纹 理信息。 5.如权利要求4所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 对选择性特征融合后的每层特征， 使用一个不规则感知 模块， 利用可形变卷积对非刚性 的地面异常目标进行建模， 获得 各层建模后得到的特 征， 并学习其特 征表示。 6.如权利要求5所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 步骤(3)中所述的联邦学习方法为基于模 型对比的联邦学习方法Moon， 在利用本地数据 更新本地模型阶段， 通过最大化当前本地模型学习到的特征表示与全局模 型学习到的特征 表示的一 致性来校正本地局部更新， 以得到 鲁棒性更好的模型检测器。 7.如权利要求6所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 在本地训练阶段， 通过计算本地监督学习的损失以及本地局部模 型学习到的表征、 全局 模型学习到的表征以及之前本地局部模型 学习到的表征的对比损失进行反向传播。 8.如权利要求7所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 所述本地监督学习的损失函数为交叉熵损失函数， 通过对各层建模后得到的特征进行 预测， 得到各阶段的预测图与最终预测图分别计算损失后， 等比重进行求和 最终得到本地 监督学习损失Lsup， 对本地训练过程进行实施监督， 提高神经网络中隐藏层学习过程的直接 性和透明度。 9.如权利要求7所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114998251 A 2于， 在本地训练阶段， 对比损失为模型对比损失， 将本轮正在被更新的本地模型得到的表征 Z与本轮开始时发送到本 地的全局模型得到的表征Zg当做正样本对即(Z， Zg)， 将上一轮本地 训练好的发往服务端的模型得到的表征Zp与本轮正在被更新的本地模型得到的表征Z当做 负样本对即(Z， Zp)， 通过计算三个表征之间的对比损失， 达到减少局部模型学习到的表示 与全局模型学习到的表示之 间的距离、 增加局部模型学习到的表示与之前局部模型学习到 的表示之间的距离的目的。 10.如权利要求1所述的基于联邦学习的空中多视觉平台地面异常检测方法， 其特征在 于， 步骤(5)中， 以混淆矩阵为基础， 采用精确度P、 召回率R和F1值评价模型检测结果： 其中， TP表示真的正例， FP表示假的正例， FN表示假的反例， 以代表不同的预测结果， 精 确度反映的是模型 的准确性， 召回率反映的则是模型的全面性， F1是精确度和召回率的调 和平均数， 对精确度和召回率同等重视， 能综合的反映模型性能， 三者皆是结果越高， 效果 越好。权　利　要　求　书 2/2 页 3 CN 114998251 A 3