(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211263262.8 (22)申请日 2022.10.14 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 万程　陈程　龚建　孙珂　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06N 20/00(2019.01) (54)发明名称 基于人工智能的植物识别方法、 装置以及设 备 (57)摘要 本公开提供了一种基于人工智能的植物识 别方法、 装置以及设备， 涉及人工智能领域， 具体 涉及图像识别、 多模态识别、 深度学习技术， 可应 用在智慧城市、 智慧农业场景下。 植物识别模型 训练方法的一具体实施方式包括： 获取样本植物 的样本遥感图像和样本类别标签； 基于样本遥感 图像， 提取样本植物的样本多模态特征； 将样本 多模态特征作为输入， 将样本类别标签作为输 出， 对语义分割模型进行训练， 得到植物识别模 型。 该实施方式在训练植物识别模型时， 引入植 物的多模态数据。 多模态数据能够从不同角度对 植物的识别提供增益， 进而提升植物识别的准确 度。 权利要求书3页 说明书10页 附图5页 CN 115512228 A 2022.12.23 CN 115512228 A 1.一种植物 识别模型训练方法， 包括： 获取样本植物的样本 遥感图像和样本类别标签； 基于所述样本 遥感图像， 提取 所述样本植物的样本多模态特 征； 将所述样本多模态特征作为输入， 将所述样本类别标签作为输出， 对语义分割模型进 行训练， 得到植物 识别模型。 2.根据权利要求1所述的方法， 其中， 所述基于所述样本遥感图像， 提取所述样本植物 的样本多模态特 征， 包括： 对所述样本 遥感图像划分网格； 统计所述样本 遥感图像的网格内的样本多模态数据， 得到所述样本多模态特 征。 3.根据权利要求2所述的方法， 其中， 所述样本多模态特征包括以下至少两项： 样本遥 感图像特 征、 样本定位特征、 样本搜索特征、 样本兴趣点特 征和样本 到访特征。 4.根据权利要求3所述的方法， 其中， 所述统计所述样本遥感图像的网格 内的样本多模 态数据， 得到所述样本多模态特 征， 包括以下至少两项： 基于所述样本 遥感图像， 提取样本 遥感图像特 征； 统计所述样本遥感图像的网格 内的样本定位点数量， 以及对所述样本定位点数量进行 归一化， 得到样本 定位特征； 统计所述样本遥感图像的网格 内的样本搜索查询次数， 以及基于所述样本搜索查询次 数， 构造样本 搜索特征； 统计所述样本 遥感图像的网格内的样本兴趣点数量， 作为样本兴趣点特 征； 统计所述样本遥感图像的网格 内的样本用户到访次数， 以及基于所述样本用户到访次 数， 构造样本 到访特征。 5.根据权利要求1 ‑4中任一项所述的方法， 其中， 所述语义分割 模型包括预先训练的融 合层和未训练的分类层； 以及 所述将所述样本多模态特征作为输入， 将所述样本类别标签作为输出， 对语义分割模 型进行训练， 得到植物 识别模型， 包括： 将所述样本多模态特 征输入至所述融合层， 得到样本融合特 征； 将所述样本融合特 征输入至所述分类层， 得到样本预测类别； 基于所述样本预测类别与所述样本类别标签的差异， 调整所述分类层的参数， 得到所 述植物识别模型。 6.根据权利要求5所述的方法， 其中， 所述融合层包括常规融合层和自编码器； 以及 所述对所述样本多模态特 征输入至融合层， 得到样本融合特 征， 包括： 若所述样本多模态特征不存在特征缺失， 将所述多模态特征输入至常规融合层， 得到 所述样本融合特 征； 若所述样本多模态特征存在特征缺失， 将所述样本多模态特征输入至缺失特征对应的 自编码器， 得到所述样本融合特 征， 其中， 不同缺失特 征对应不同的自编码器。 7.根据权利要求6所述的方法， 其中， 所述自编码器通过无监督训练得到， 优化目标包 括减小重构误差和控制 重构误差下限， 在所述自编码器的训练阶段， 通过添加 惩罚项控制 重构误差 。 8.一种植物 识别方法， 包括：权　利　要　求　书 1/3 页 2 CN 115512228 A 2获取待识别植物的遥感图像； 基于所述待识别植物的遥感图像， 提取 所述待识别植物的多模态特 征； 将所述待识别植物 的多模态特征输入至植物识别模型， 得到所述待识别植物的类别， 其中， 所述 植物识别模型 是采用权利要求1 ‑7中任一项所述的方法训练得到的。 9.一种植物 识别模型训练装置， 包括： 获取模块， 被 配置成获取样本植物的样本 遥感图像和样本类别标签； 提取模块， 被 配置成基于所述样本 遥感图像， 提取 所述样本植物的样本多模态特 征； 训练模块， 被配置成将所述样本多模态特征作为输入， 将所述样本类别标签作为输出， 对语义分割模型进行训练， 得到植物 识别模型。 10.根据权利要求9所述的装置， 其中， 所述 提取模块包括： 划分子模块， 被 配置成对所述样本 遥感图像划分网格； 统计子模块， 被配置成统计所述样本遥感图像的网格内的样本多模态数据， 得到所述 样本多模态特 征。 11.根据权利要求10所述的装置， 其中， 所述样本多模态特征包括以下至少两项： 样本 遥感图像特 征、 样本定位特征、 样本搜索特征、 样本兴趣点特 征和样本 到访特征。 12.根据权利要求1 1所述的方装置， 其中， 所述统计子模块包括以下至少两项： 提取单元， 被配置成基于所述样本 遥感图像， 提取样本 遥感图像特 征； 第一统计单元， 被配置成统计所述样本遥感图像的网格内的样本定位点数量， 以及对 所述样本 定位点数量进行归一 化， 得到样本 定位特征； 第二统计单元， 被配置成统计所述样本遥感图像的网格内的样本搜索查询次数， 以及 基于所述样本 搜索查询次数， 构造样本 搜索特征； 第三统计单元， 被配置成统计所述样本遥感图像的网格内的样本兴趣点数量， 作为样 本兴趣点特 征； 第四统计单元， 被配置成统计所述样本遥感图像的网格内的样本用户到访次数， 以及 基于所述样本用户到访次数， 构造样本 到访特征。 13.根据权利要求9 ‑12中任一项所述的装置， 其中， 所述语义分割模型包括预先训练 的 融合层和未训练的分类层； 以及 所述训练模块包括： 融合子模块， 被 配置成将所述样本多模态特 征输入至所述融合层， 得到样本融合特 征； 分类子模块， 被 配置成将所述样本融合特 征输入至所述分类层， 得到样本预测类别； 调整子模块， 被配置成基于所述样本预测类别与所述样本类别标签的差异， 调整所述 分类层的参数， 得到所述 植物识别模型。 14.根据权利要求13所述的装置， 其中， 所述融合层包括常规融合层和自编码器； 以及 所述融合子模块包括： 第一融合单元， 被配置成若所述样本多模态特征不存在特征缺失， 将所述多模态特征 输入至常规融合层， 得到所述样本融合特 征； 第二融合单元， 被配置成若所述样本多模态特征存在特征缺失， 将所述样本多模态特 征输入至缺 失特征对应的自编码 器， 得到所述样本融合特征， 其中， 不同缺 失特征对应不同 的自编码器。权　利　要　求　书 2/3 页 3 CN 115512228 A 3