(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321768.X (22)申请日 2022.10.27 (71)申请人 江西省亿发姆科技发展 有限公司 地址 330006 江西省南昌市赣 江新区直管 区纵十路以东、 兴业大道以南、 介坛 北 路以西、 麻石桥路以北万创科技城6栋 3层305室 (72)发明人 李任明　曾晓流　甘水华　李伟伟　 肖丽沙　易丽娟　陈诗亮　张坤　 汤文亮　 (74)专利代理 机构 南昌金轩知识产权代理有限 公司 36129 专利代理师 桑耀 (51)Int.Cl. G06V 10/54(2022.01)G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 20/70(2022.01) G06F 16/31(2019.01) G06F 16/332(2019.01) G06F 16/36(2019.01) G06Q 50/02(2012.01) (54)发明名称 一种农作物诊断方法、 装置、 慧诊仪以及可 读存储介质 (57)摘要 本发明通过提供一种农作物诊断方法、 装 置、 慧诊仪以及可读存储介质， 其通过慧诊仪采 集待识别农作物病害图像， 将所述农作物病害图 像输入至 预先训练好的病害识别模 型中， 确定所 述农作物病害图像的至少一个病害标注信息， 用 户不仅可以通过慧诊仪识别所述农作物病害图 像并得到 所述农作物病害的标注信息， 还可以通 过慧诊仪输入查询语句， 再从预先建立的知 识图 谱中获取水稻的目标病害为水稻稻苗疫病以及 所述目标病害为水稻稻苗疫病所对应的辅助决 策， 以此提高识别效率， 达到了更准确的识别效 果。 权利要求书4页 说明书14页 附图1页 CN 115375923 A 2022.11.22 CN 115375923 A 1.一种农作物诊断方法， 具体包括： 步骤1： 通过慧诊仪采集待识别农作物病害图像； 步骤2： 将所述农作物病 害图像输入至预先训练好的病 害识别模型中， 确定所述农作物 病害图像的至少一个病害标注信息； 具体地， 所述病害识别 模型包括特征提取农作物病 害图像的特征向量， 其中， 所述特征 向量包括颜色特 征向量和纹 理特征向量； 结合颜色特 征向量和纹 理特征向量 在得到所述农作物病 害图像的特征向量后， 通过所述病 害识别模型的分类器进行分类 标记， 并得到所述农作物病害图像的分类概 率和所述农作物病害图像的标注信息； 步骤3： 根据查询输入来自动匹配知识图谱查询路径； 基于所述农作物病害的标注信息， 自动生成查询语句， 并从知识图谱中查询农作物的 目标病害和对应的辅助决策； 具体地， 在步骤3中包括以下步骤： 步骤3.1： 获取 所述标注信息和用户查询语句的表示文本； 判断标注信 息和用户查询语句的表示文本是否包括关系类型及两个实体； 若是则执行 步骤3.2， 若否则执 行步骤3.4； 步骤3.2： 设置知识图谱中的源节点、 目标节点和临时节点， 在初始阶段将临时节点设 置在源节点处， 更新临时节点附近的实体和关系集 合； 步骤3.3： 获取与临时节点相似的附近节点的实体， 并将其关系存储到知识图谱中； 不 断更新和存储所述临时节点附近的实体和关系集合， 并最终输出最短的路径， 得到所述 目 标节点； 步骤3.4： 判断获取所述标注信息以及用户查询语句中是否只包括实体， 若是执行步骤 3.5； 若否则执 行步骤3.7； 步骤3.5： 将实体对应的节点的ID和相邻节点ID进行比较； 若实体对应的节点的ID大于 相邻节点 ID， 将实体对应的节点作为初始 节点； 步骤3.6： 获取与临时节点相似的附近节点的实体， 并将其关系存储到知识图谱中； 不 断更新和存储所述临时节点附近的实体和关系集合， 并最终输出最短的路径， 得到所述 目 标节点， 获取目标病害以及用户查询语句中的实体； 步骤3.7： 若通过所述慧诊仪判断未获取所述标注信息， 并且用户输入查询语句中只包 括实体； 步骤3.8： 获取所述实体的集合A以及相邻节点的集合B， 得到所述集合A与所述集合B的 交集C以及并集D； 步骤3.9： 通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度， 获 取相似度最高的目标实体； 步骤4： 基于目标实体为农作物病害防治提供辅助决策， 在未获取辅助决策时开启远程 专家指导。 2.根据权利要求1所述的一种农作物诊断方法， 其特 征在于： 在预先构建农作物病害知识图谱时， 具体地， 利用条件约束方法对半结构化知识进行 抽取和/或利用机器学习方法提取非结构化知识， 最后进行知识存 储； 将抽取到的两部分作物农作物病害三元组数据共同存储到  Neo4j 图数据中， 并进行权　利　要　求　书 1/4 页 2 CN 115375923 A 2可视化展示。 3.根据权利要求2所述的一种农作物诊断方法， 其特 征在于： 在预先构建农作物病害知识图谱的映射关系时， 输入文本中的实体位置信息， 并结合 上下文提取 出实体位置中的首部、 中间、 尾部的语法结构特 征以及语义特 征； 具体地， 根据注意力机制计算输入文本实体的首部、 中间部分、 尾部的向量， 即首部向 量、 中间向量、 尾部向量， 并基于注意力机制计算所述首部向量、 所述中间向量、 所述尾部向 量之间的相互关系R； ； 其中， S为首部向量， N为中间向量， W为尾部向量， 表示首部向量的维度或中间向量维 度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函 数。 4.根据权利要求3所述的一种农作物诊断方法， 其特 征在于： 根据多头注意力 机制进行多次线性变换， 并将所述首部向量、 中间向量、 尾部向量进行 投影， 将多次线性变换矩阵进行融合； ； 其中， 表示多头注意力机制， concat （ ） 表示融合函数， 表示在多 头注意力机制下的线性变换后得到的变换矩阵， n表示变换次数； 具体地， 计算多次线性变换矩阵 ； ； 其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部 向量； 根据输出结果对所述首部向量、 中间向量、 尾部向量完成知识图谱中各个节点映射关 系， 完成构建所述农作物病害知识图谱。 5.一种农作物诊断装置， 具体 应用于慧诊仪， 其特 征在于， 包括： 农作物病 害图像获取模块、 农作物病害图像识别模块、 知识图谱查询模块、 辅助决策模 块； 农作物病害图像获取模块， 用于通过慧诊仪采集待识别农作物病害图像； 农作物病 害图像识别模块， 用于将所述农作物病 害图像输入至预先训练好的病害识别 模型中， 确定所述农作物病害图像的至少一个病害标注信息； 具体地， 所述病害识别 模型包括特征提取农作物病 害图像的特征向量， 其中， 所述特征 向量包括颜色特 征向量和纹 理特征向量； 结合颜色特 征向量和纹 理特征向量； 在得到所述农作物病 害图像的特征向量后， 通过所述病 害识别模型的分类器进行分类 标记， 并得到所述农作物病害图像的分类概率和所述农作物病害图像的标注信息； 知识图 谱查询模块， 用于根据查询输入来自动匹配知识图谱查询路径； 知识图谱查询模块， 用于根据查询输入来自动匹配知识图谱查询路径；权　利　要　求　书 2/4 页 3 CN 115375923 A 3