(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210777562.1 (22)申请日 2022.07.01 (71)申请人 成都携恩科技有限公司 地址 610041 四川省成 都市高新区益州大 道中段1858号G5 栋21楼2101室 (72)发明人 惠孛　周书田　刘洋　王伟业　 高瑞伟　乔少杰　王梦雪　 (74)专利代理 机构 成都玖和知识产权代理事务 所(普通合伙) 51238 专利代理师 胡琳梅 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/17(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多线程训练机制的无人机违章建 筑识别方法及系统 (57)摘要 本发明主要目的在于提供一种基于多线程 训练机制的无人机违章建筑识别方法， 先利用无 人机自适应图像捕捉器进行图像采集， 获得多张 原始高空建筑图像； 再将多张原始高空建筑图像 进行图像预处理， 生成多张标准高空建筑图像和 多组标准高空建筑图像的真实性违章建筑判别 向量； 根据多张标准高空建筑图像， 构建基于多 线程训练机制的违章建筑识别模型来获得多组 预测性违章 建筑判别向量； 将多张标准高空建筑 图像、 多组预测性违章建筑判别向量以及多组真 实性违章建筑判别向量作为数据样本来训练基 于多线程训练机制的违章建筑识别模 型， 最终提 升违章建筑识别模型的效率和性能。 本发明解决 了传统的违章建筑识别方法存在训练速度较慢、 收敛不稳定以及识别性能不佳的问题。 权利要求书3页 说明书9页 附图4页 CN 115131663 A 2022.09.30 CN 115131663 A 1.一种基于多线程训练机制的无人机违章建筑识别方法， 其特征在于： 所述方法包括 以下步骤： S1： 利用无 人机自适应图像捕捉器进行图像采集， 获得多张原 始高空建筑图像； S2： 将多张原始高空建筑图像进行图像预处理， 生成多张标准高空建筑图像和多组标 准高空建筑图像的真实性违章建筑判别向量； S3： 根据多张标准高空建筑图像， 构建基于多线程训练机制的违章建筑识别模型来获 得多组预测性违章建筑判别向量； S4： 将多张标准高空建筑图像、 多组预测性违章建筑判别向量以及多组真实性违章建 筑判别向量作为数据样本来训练基于多 线程训练机制的违章建筑识别模型； S5： 利用训练后的违章建筑识别模型获得标准高空建筑图像中违章建筑的标签和显示 框。 2.根据权利要求1所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其特 征在于： 所述 步骤S2具体包括如下步骤： S21： 对多张原 始高空建筑图像进行 灰度化处 理， 生成第一阶段高空建筑图像； S22： 对多张第一阶段高空建筑图像进行 标准化处理， 生成第二阶段高空建筑图像； S23： 对多张第二阶段高空建筑图像进行空间变换处 理， 生成多张标准高空建筑图像； S24： 对多张标准高空建筑图像 中的违章建筑进行标记， 生成多组标准高空建筑图像的 真实性违章建筑判别标签和显示框； S25： 设计向量转换方案对多组标准高空建筑图像的真实性违章建筑判别标签和显示 框进行处 理， 生成多组标准高空建筑图像的真实性违章建筑判别向量。 3.根据权利要求1或2所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其 特征在于： 所述 步骤S3具体包括如下步骤： S31： 在多个线程中构建多个网络结构相同、 参数类型相同以及参数数量相同的违章建 筑识别模型； S32： 将第一个线程的违章建筑识别模型作为全局学习模型， 其余线程中的违章建筑识 别模型作为分支计算模型； S33： 将多张标准高空建筑图像分别输入到多个分支计算模型中， 获得多组预测性违章 建筑判别向量。 4.根据权利要求1或2所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其 特征在于： 所述 步骤S4具体包括如下步骤： 步骤S41： 将多张标准高空建筑图像、 多组预测性违章建筑判别向量和多组真实性违章 建筑判别 向量作为数据样本， 基于多个分支计算模型的损失函数获得多组不同的参数梯 度； 步骤S42： 将多组不同的参数梯度分别传入 全局学习模型来更新全局学习模型的参数； 步骤S43： 每隔固定时间t， 将全局学习模型的所有参数值分别传入多个分支计算模型 来覆盖分支计算模型的原有参数值， 多个分支计算模型获得新的参数值； 步骤S44： 重复步骤S33、 S41、 S42以及S43， 直到达到终止时间Tend， 获得训练后的违章 建筑识别模型。 5.根据权利要求1或2所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其权　利　要　求　书 1/3 页 2 CN 115131663 A 2特征在于： ， 所述 步骤S5具体包括如下步骤： 步骤S51： 将标准高空建筑图像输入到训练后的违章建筑识别模型中， 获得预测性违章 建筑判别向量； 步骤S52： 将预测性违章建筑判别向量转换为标准高空建筑图像中违章建筑的标签和 显示框。 6.根据权利要求2所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其特 征在于： 所述 步骤S25中向量 转换方案为： 将多组标准高空建筑图像的真实性违章建筑判别标签和显示框编码为真实性违章建 筑判别向量， 其中标签使用独热向量进 行编码， 显示框使用显示框的长度值、 宽度值以及显 示框中心点的横坐标和纵坐标进行编码。 7.根据权利要求3所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其特 征在于： 所述步骤S 31中， 违章建筑识别模 型包括： 聚合特征子模型、 双向组合特征子模 型和 特征识别子模型。 8.根据权利要求3所述的一种基于多线程训练机制的无人机违章建筑识别方法， 其特 征在于： 所述 步骤S33中， 获得多组预测性违章建筑判别向量的计算公式如下 所示： x1＝(x0*w0+b0) x2＝Contact(Sl ice(x1)) x3＝(BN(Co nv(x2))*w1+b1) y0＝Conv(x3)z0＝Conv(x3) y1＝StochasticPo oling(y0)z1＝MaxPooling(z0) y2＝y1*wy1+by1+y1 z2＝z1*wz1+bz1+z1 y3＝(BN(y2)*wy2+by2)z3＝(BN(z2)*wz2+bz2) h0＝Contact(y3,z3) h1＝Conv(h0) h2＝Softmax(h1) 其中， x0为标准高空建筑图像的像素矩阵， w0和b0分别为聚合特征子模型的第一权重参 数和第一偏置参数， x1为聚合特征子模型的第一中间向量， Slice()为切片函数， Contact ()为级联函数， x2为聚合特征子模型的第二中间向量， Conv()为卷积函数， BN()为批处理 函数， w1和b1分别为聚合特征子模 型的第二权重参数和第二偏置参数， x3为聚合特征子模 型 的第三中间向量； y0为双向组合 特征子模型中正向特征提 取网络的第一中间向量， z0为双向 组合特征子模型中反向特征提取网络的第一中间向量， StochasticPooling()为随机池化 函数， MaxPooling()为最大池化函数， y1为双向组合特征子模型中正向特征提取网络的第 二中间向量， z1为双向组合 特征子模型中反向特征提取网络的第二中间向量， y2为双向组合 特征子模型中正向特征提取网络的第三中间向量， z2为双向组合特征子模型中反向特征提 取网络的第三中间向量， wy1和by1分别为双向组合特征子模型中正向特征提取网络的第一 权重参数和第一偏置参数， wz1和bz1分别为双向组合特征子模型中反向特征提取网络的第 一权重参数和第一偏置参数， wy2和by2分别为双向组合特征子模型中正向特征提取网络的 第二权重参数和第二偏置参数， wz2和bz2分别为双向组合特征子模型中反向特征提取网络 的第二权重参数和第二偏置参数， y3为双向组合特征子模型中正向特征提取网络的第四中权　利　要　求　书 2/3 页 3 CN 115131663 A 3