(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221085423 6.6 (22)申请日 2022.07.14 (71)申请人 江苏科技大学 地址 212100 江苏省镇江市丹徒区长晖路 666号 (72)发明人 李明　左欣　钱萍　徐丹　储娇　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 袁姝 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06Q 50/02(2012.01) (54)发明名称 一种基于知识图谱的病虫害诊断系统及其 方法 (57)摘要 本发明公开了一种基于知识图谱的病虫害 诊断系统及其方法， 系统包括知识图谱模块和含 有图片输入、 深度学习和诊断输出三个子模块的 病虫害诊断模块； 方法包括： 预定义实体与实体 之间关系， 构建病虫害诊断知识图谱模式图； 根 据模式图获取病虫害的文本数据和数据集图片 并做预处理和特征提取、 分类； 对文本数据进行 知识融合、 实体对齐、 实体消歧； 将分类的特征、 文本数据存储到Neo4j数据库， 完成知识图谱模 块构建； 图片输入子模块接收需诊断的病虫害图 片并预处理； 深度学习子模块对图片特征提取并 检索， 如结果大于设定阈值， 则对特征优化； 诊断 输出子模块输出病虫害的诊断结果及防治建议。 本发明可准确、 可靠地实现病虫害的识别与诊 断。 权利要求书3页 说明书7页 附图2页 CN 115391549 A 2022.11.25 CN 115391549 A 1.一种基于知识图谱的病虫害诊断系统， 其特征在于， 包括知识图谱模块和病虫害诊 断模块； 所述的病虫害诊断模块， 包含病虫害图片 输入子模块、 深度学习子模块和诊断输出 子模块； 深度学习子模块与知识图谱模块、 病虫害图片输入子模块、 诊断输出子模块相连， 诊断输出子模块与深度学习子模块和知识图谱 模块相连； 深度学习子模块对从病虫害图片输入子模块传来的病虫害图片进行特征提取， 通过知 识图谱模块存储的特征数据对病 虫害进行识别， 将识别结果输出到诊断输出子模块； 深度 学习子模块对未存储在知识图谱模块的病虫害图片特征进 行特征学习， 将学习结果补充到 知识图谱模块中， 更新知识图谱模块； 所述的诊断输出子模块， 将从深度学习子模块传来的 识别结果与知识图谱模块存储的病虫害文本数据进行比对， 得到该类病虫害的诊断结果和 防治建议， 并进行输出。 2.一种基于知识图谱的病虫害诊断方法， 其特征在于， 采用基于知识图谱的病虫害诊 断系统， 包括知识图谱模块和病虫害诊断模块； 所述的病虫害诊断模块， 包含病虫害图片 输 入子模块、 深度学习子模块和诊断输出子模块； 深度学习子模块与知识图谱模块、 病虫害图 片输入子模块、 诊断输出子模块相连， 诊断输出子模块与深度学习子模块和知识图谱模块 相连； 深度学习子模块对从病 虫害图片输入子模块传来的病 虫害图片进行特征提取， 通过 知识图谱模块存储的特征数据对病 虫害进行识别， 将识别结果输出到诊断输出子模块； 深 度学习子模块对未存储在知识图谱模块的病虫害图片特征进 行特征学习， 将学习结果补充 到知识图谱模块中， 更新知识图谱模块； 所述的诊断输出子模块， 将从深度学习子模块传来 的识别结果与知识图谱模块存储的病虫害文本数据进 行比对， 得到该类病虫害的诊断结果 和防治建议， 并进行输出； 所述方法包括以下步骤： 步骤1、 预定义病虫害诊断知识图谱中的实体以及实体之间的关系， 并构建病虫害诊断 知识图谱的模式图； 步骤2、 根据步骤1构建的病虫害诊断知识图谱的模式图进行知识获取， 获取病虫害的 文本数据和数据集图片； 步骤3、 对步骤2中获取的大量病虫害数据集图片进行预处理， 并对预处理完成的病虫 害数据集图片的特征进行提取， 最后 将预处理好且提取完成的病虫害 数据集图片特征进 行 分类； 步骤4、 将步骤2中获取的病虫害的文本数据进行知识融合处 理； 步骤5、 将步骤3中分类好的病虫害数据集图片特征数据以及步骤4中知识融合后的病 虫害的文本数据存 储到Neo4j数据库中， 完成知识图谱 模块的构建； 步骤6、 通过病虫害诊断模块的病虫害图片输入子模块输入需要诊断的病虫害图片， 并 对该图片进行图像尺寸调整、 滤波预处理， 将预处理完成的病 虫害图片送入深度学习子模 块； 步骤7、 深度学习子模块接收到来自病虫害图片输入子模块的预处理完成的病虫害图 片， 并通过卷积操作对该病 虫害图片进行特征提取， 接着将提取出来的病 虫害图片特征进 行检索， 根据检索结果来选择是否需要对该病 虫害图片特征进行优化， 如果不需要则直接 将根据检索结果得到的病虫害标签送入到诊断输出子模块； 步骤8、 诊断输出子模块输出病虫害的诊断结果及其防治建议。权　利　要　求　书 1/3 页 2 CN 115391549 A 23.根据权利要求2所述的一种基于知识图谱的病虫害诊断方法， 其特征在于， 所述步骤 1的过程包括： 步骤1.1预定义病虫害诊断知识图谱中的实体以及实体之间的关系： 根据病虫害的阶 段、 特征、 危害以及治疗措施， 定义 实体分别为初期农作物病害、 末期农作 物病害、 初期农作 物病害特征、 末期农作物病害 特征、 初期措施、 初期药物、 末期措施、 末期药物、 病害描述、 病 害原因和病害危害； 将病害与特征定义为所属关系， 将病害与措施定义为解决关系， 将药物 与措施定义为使用关系， 将病害描述与病害定义为所属关系， 将病害与病害原因定义为诱 发关系； 步骤1.2构建病虫害诊断知识图谱的模式图： 根据所定义的实体和实体之间的关系、 通 过实体之间的关系将每个实体进行关联； 包括： 将有所属关系的初期农作物病害与初期农 作物特征这两个实体进行关联； 通过其中一个实体和关系， 可以查询另外一个实体； 最终， 将所有的实体与实体之间的关系进行关联， 形成病虫害 诊断知识图谱的模式图。 4.根据权利要求2所述的一种基于知识图谱的病虫害诊断方法， 其特征在于， 所述步骤 2的过程包括： 从互联网中获取所需病虫害诊断的实体和关系的具体数据， 包括文本数据、 大量的病 虫害数据集图片， 每一张病 虫害数据集图片都有相对应的病 虫害标签， 并在此基础上根据 病虫害诊断知识图谱的模式图中定义的关系类别进一 步获取实体间的链接 。 5.根据权利要求2所述的一种基于知识图谱的病虫害诊断方法， 其特征在于， 所述步骤 3的过程包括： 步骤3.1对大量的病虫害数据集图片进行预处理： 首先对病虫害数据集图片的大小进 行剪裁， 剪裁成大小为22 4*224的图片， 然后使用高斯滤波对剪裁后的病虫害 数据集图片进 行滤波处理， 以减少剪 裁后的病虫害数据集图片中的高斯噪声； 步骤3.2、 对预处理完成的病虫害数据集图片进行特征提取： 通过卷积操作对预处理完 成的病虫害 数据集图片特征进 行投影， 并对其投影特征重塑为N块， 获得一组丰富的中间特 征； 将这一组中间特征分别经过自注意力路径和采用全连接层的卷积路径； 分别得到自注 意力路径的特征和全连接层的卷积路径的特征， 最后再将自注意力路径的特征和全连接层 的卷积路径的特 征相加得到最终的病虫害数据集图片特 征； 步骤3.3、 将预处理好且提取完成的病虫害数据集图片特征进行分类： 将提取出的最终 的病虫害数据集图片特征按一定比例分为训练集、 验证集和测试集， 用这三种数据集训练 和优化深度学习模块的神经网络， 神经网络结构为： 卷积层、 池化层、 激活层、 全连接层、 分 类层； 在训练过程中通过动量法动态调整学习率的方法来训练网络； 根据训练结果将最终 的病虫害数据集图片特征进行分类， 得到多种病 虫害图像特征库， 并取每个类图像库的均 值图像特 征作为索引。 6.根据权利要求2所述的一种基于知识图谱的病虫害诊断方法， 其特征在于， 所述步骤 4的过程包括： 首先将获取的病虫害的文本数据进行实体对齐处理， 即在众多的数据中找到等价实 例： 首先对原始的病 虫害文本数据进行归一化处理； 然后通过计算归一化处理后病 虫害文 本数据属性相似度或实体相似度来将两个实体进行记录链接； 最后将使用Limes实体匹配 工具对实体进行匹配。权　利　要　求　书 2/3 页 3 CN 115391549 A 3