(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211340580.X (22)申请日 2022.10.28 (71)申请人 河南省农业科 学院农业经济与信息 研究所 地址 450002 河南省郑州市金 水区花园路 116号 (72)发明人 臧贺藏　申华磊　苏歆琪　李国强　 赵巧丽　周萌　郑国清　 (74)专利代理 机构 北京合创致信专利代理有限 公司 16127 专利代理师 刘素霞 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 一种小麦倒伏程度分级方法和装置 (57)摘要 本发明提供了一种小麦倒伏程度分级方法 和装置， 采集小麦待测区多张原始图像， 并对多 张原始图像进行拼接， 形成一张待测拼接图像； 获取各个待测小区在待测拼接图像中的坐标位 置信息， 根据坐标位置信息生成候选区坐标， 并 根据候选区坐标映射产生统一尺 寸的待测图像； 将各个待测小区对应的待测图像输入训练好的 多任务神经网络模型， 多任务神经网络模型根据 输入的待测图像进行语义分割任务时， 输出待测 小区的倒伏 程度等级， 根据输入的待测特征图像 进行分类任务时， 输出该小麦待测小区的倒伏区 域掩膜图； 根据掩膜图和该小麦待测区的地物尺 度转换关系， 得到该小麦待测区内各个待测小区 的实际倒伏 面积， 根据各个待测小区的实际倒伏 面积占待测总面积的百分比得出各个待测小区 的倒伏面积等级。 权利要求书3页 说明书14页 附图7页 CN 115496891 A 2022.12.20 CN 115496891 A 1.一种小麦倒伏程度分级方法， 其特 征在于， 所述方法包括： 采集小麦待测区多张原始图像， 对小麦待测区的所述多张原始图像预处理， 所述预处 理包括； 对所述多张原 始图像进行拼接， 形成一张待测拼接图像； 获取各个待测小区在待测拼接图像中的坐标位置信 息， 根据各待测小区的坐标位置信 息生成候选区坐标， 并根据候选区坐标映射产生统一尺寸的待测图像； 对小麦待测区的小麦倒伏程度分级 进行预测， 所述预测包括： 将各个待测小区的所述待测图像输入训练好的多任务神经网络模型， 所述多任务神经 网络模型能够完成分割任务的同时完成分类任务， 所述多任务神经网络模 型根据所述待测 图像进行分类任务后输出该小麦待测区内各个待测小区的倒伏程度等级， 所述多任务神经 网络模型根据所述待测图像进行语义分割任务后输出 该小麦待测区的倒伏区域掩膜图； 根据所述掩膜图和该小麦待测区的地物尺度转换关系， 得到该小麦待测区内各个待测 小区的实际倒伏面积， 根据所述各个待测小区的实际倒伏面积占待测总面积的百分比得出 所述各个待测小区的倒伏面积等级。 2.根据权利要求1所述的小麦倒伏程度分级方法， 其特征在于， 所述方法还包括： 在第 一目标图像中展示所述各个待测小区的倒伏程度等级， 在第二目标图像中展示所述各个待 测小区的所述倒伏面积等级， 其中， 所述第一 目标图像是在所述测试拼接图像或所述候选 区图像中标注各个待测小区的倒伏程度等级得到的， 所述第二目标图像是在所述测试拼接 图像或所述 候选区图像中标注各个待测小区的倒伏面积等级得到的。 3.根据权利要求1所述的小麦倒伏程度分级方法， 其特征在于， 所述多任务神经网络模 型分为特征提取层、 语义分割层和分类器层， 所述特征提取层通过对输入模型 的所述待测 图像进行连续的倍差降维下采样， 生成降维特征图； 所述语义分割层和所述分类器层共用 所述特征提取层。 4.根据权利要求3所述的小麦倒伏程度分级方法， 其特征在于， 所述语义分割层由基于 MLP层优化后的特征细化层和基于通道注意力机制的上采样层组成； 所述特征细化模块通 过对所述降维特征图进行特征细化， 生成细化特征图， 所述上采样模块通过对所述细化特 征图进行与所述倍差降维下采样同样倍数 的上采样， 来调整所述细化特征图的大小， 生成 与输入模型的待测图像大小相同的所述倒伏区域掩膜图。 5.根据权利要求3所述的小麦倒伏程度分级方法， 其特征在于， 所述分类器层包含池化 模块， 所述分类器层通过所述池化模块对所述特征提取层最后一次下采样得到的所述降维 特征图进行全局池化和全连接操作， 生成所述倒伏程度等级的预测分类。 6.根据权利要求1所述的小麦倒伏程度分级方法， 其特征在于， 所述多任务神经网络模 型的训练过程， 包括： 采集小麦待测区的多张原始图像， 对所述小麦待测区的所述多张原始图像进行预处 理， 包括： 对所述多张原 始图像进行拼接， 形成一张拼接图像； 对所述拼接 图像的各个训练小区进行分类标注； 其中， 所述分类标注包含标记出的各 个训练小区的坐标位置和各个训练小区对应的倒伏程度信息； 获取各个训练小区在待测拼接图像中的坐标位置， 根据 各待测小区的坐标位置生成候权　利　要　求　书 1/3 页 2 CN 115496891 A 2选区坐标， 并根据候选区坐标映射产生统一尺寸的样本图像， 所述样本图像中包括各个训 练小区对应的倒伏程度信息； 根据所述样本图像中各个训练小区对应的倒伏程度信 息， 对所述样本图像进行二值标 注， 所述二值标注用于将倒伏小麦区域标记为前景， 非倒伏小麦区域标记为背 景， 根据所述 标注结果， 将所述样本图像转换成二 值标签图； 将与各个训练小区对应的所述样本图像输入多任务神经网络初始模型； 所述初始模型的特征提取层对输入的所述样本图像进行连续的倍差降维下采样， 生成 降维特征图； 所述语义分割层将所述降维特征图通过MLP层进行特征细化， 生成细化特征图， 所述细 化特征图通过上采样模块进行与倍差降维相同倍数的上采样， 生成并输出与所述样本图像 大小相同的掩膜图； 所述分类器层将所述特征提取层最后 一次下采样得到降维特征图进行全局池化， 生成 预测分类， 将所述预测分类输出， 其中， 所述预测分类包括各个待测小区的倒伏程度级别； 根据所述初始模型输出的所述掩膜图， 确定各个训练小区的预测倒伏面积， 根据所述 预测倒伏面积生成倒伏面积预测图像； 根据所述分类器层输出的各个训练小区的所述预测分类， 生成倒伏程度等级预测图 像； 根据样本图像 中各个训练小区对应的倒伏程度等级信 息， 将倒伏面积预测图像与二值 标签图进行比对， 将倒伏程度等级预测图像与样本图像进行比对， 比对的偏差通过损失函 数来表示， 倒伏面积预测图像越接近二值标签图、 倒伏程度等级预测图像与样本图像越接 近， 则损失函数值越低， 直到多次训练得到的损失函数值趋 近于收敛时， 模型训练完成。 7.根据权利要求6所述的小麦倒伏程度分级方法， 其特征在于， 所述最终损失函数定义 为： 其中， lcls为分类任务的模型损失值， lseg为语义分割任务的模型损失值， α参数是平衡 语义分割任务的模型损失和分类任务的模型损失在最终损失贡献中的混合因子， β 参数是 调节分类任务模型损失值。 8.一种小麦倒伏程度分级装置， 其特 征在于， 所述装置包括： 预处理模块， 用于对小麦待测区的测试数据预处理， 所述预处理包括对采集到的多张 原始图像进行拼接， 形成一张待测 拼接图像； 获取各个待测小区在所述测试拼接图像中的 坐标位置信息， 并根据所述坐标位置信息生成候选区坐标， 根据所述候选区坐标映射产生 统一尺寸的待测图像； 第一预测模块， 用于对小麦待测区的小麦倒伏程度进行预测， 所述第一预测模块具体 用于将各个待测小区的所述待测图像输入训练好的多任务神经网络模型， 所述多任务神经 网络模型用于完成分割任务的同时完成分类任务， 所述多任务神经网络模 型根据输入的所 述待测图像进 行分类任务后输出该小麦待测区内各个待测小区的倒伏程度等级， 所述多任 务神经网络模型根据输入的所述待测图像进行分割任务后输出该小麦待测区的倒伏区域 掩膜图；权　利　要　求　书 2/3 页 3 CN 115496891 A 3