(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211076945.2 (22)申请日 2022.09.05 (65)同一申请的已公布的文献号 申请公布号 CN 115170973 A (43)申请公布日 2022.10.11 (73)专利权人 广州艾米生态人工智能农业有限 公司 地址 510900 广东省广州市从化区街口街 道风云岭森林公园内艾米稻香小镇农 智谷办公楼101室 (72)发明人 唐飞　邬茂超　陈富华　陈文勇　 江会欣　陈力键　 (74)专利代理 机构 北京劲创知识产权代理事务 所(普通合伙) 11589 专利代理师 常柯阳(51)Int.Cl. G06V 20/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 110210355 A,2019.09.0 6 CN 111898683 A,2020.1 1.06 CN 113709384 A,2021.1 1.26 WO 2021184894 A1,2021.09.23 审查员 刘志军 (54)发明名称 一种智能化稻田杂草识别方法、 装置、 设备 及介质 (57)摘要 本申请公开了一种智能化稻田杂草识别方 法、 装置、 设备及介质， 涉及计算机视觉技术领 域。 该智能化稻田杂草识别方法包括： 根据多个 第一视频 获取第一图片集； 所述第一图片集包括 多个第一图片， 所述第一图片携带有所述第一视 频的杂草种类信息； 搜索最佳的深度残差网络结 构得到第一深度残差网络结构； 根据多个所述第 一图片集和所述杂草种类信息训练所述深度残 差网络得到稻田杂草识别模型； 将第二图片输入 至所述稻田杂草识别模型得到第一识别结果。 本 申请通过输入稻田杂草视频和杂草种类信息， 利 用深度残差网络的人工智能识别模型对输入图 片进行识别获得识别结果， 从而智能高效地实现 对稻田杂草的识别。 权利要求书3页 说明书10页 附图5页 CN 115170973 B 2022.12.20 CN 115170973 B 1.一种智能化稻田杂草识别方法， 其特 征在于， 包括： 获取多个第一视频， 所述第一视频为稻田杂草视频， 所述第一视频携带有杂草种类信 息； 根据多个所述第一视频获取多个第一图片集； 所述第一图片集包括多个第一图片， 所 述第一图片携带有所述第一视频的杂草种类信息； 搜索最佳的深度残差网络结构得到第一深度残差网络结构； 根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻 田杂草 识别模型， 所述深度残差网络具有所述第一深度残差网络结构； 获取第二图片； 将所述第二图片输入至所述稻田杂草识别模型 得到第一识别结果； 所述深度残差网络结构包括输入部分、 中间部分和输出部分； 所述中间部分由4个残差Block组成， 每个残差Block由多个卷积Layer和旁路连接组 成， 每个卷积Layer由Batc hNorm批归一 化、 ReLU激活函数和Co nv2D卷积按顺序连接而成， 所述输出部分为多输出形式， 每一个输出针对一种杂草类别， 一次识别同时判断多种 杂草的存在情况； 所述中间部分的结构通过从ENAS搜索空间中寻找最佳的深度残差网络结构来确定， 所 述ENAS搜索空间的内容包括： 每一个残差Bl ock所包含卷积Layer的数量， 数量范围为1 ‑5个； 每一个残差Bl ock中第一个卷积Layer的步长为2， 其 余卷积Layer的步长为1； 每一个残差Block中卷积Layer的通道数， 第一个Layer的通道数从16、 32、 64、 128、 256、 512中选取， 如果当前残差Block中Layer的数量超 过2， 则最后一个卷积Layer的通道数是第 一个卷积Layer的4 倍； 其余Layer的通道数与第一个Layer一 致； 每一个卷积Layer的卷积核大小， 从1x1、 3x3和5x5三种大小中选取其 一； 所述ENAS搜索空间的大小为(5*6*3)^4， 将以上搜索空间的规则编码为AutoKears的搜 索空间， AutoK eras通过自动训练并比较深度残差网络结构， 选取识别率 最高的那一个； 在搜索的过程中， 损失函数的计算方式为， 每一个输出对应一个交叉熵误差， 计算所有 输出的交叉熵误差的平均值作为整个网络的损失。 2.根据权利要求1所述的智能化稻田杂草识别方法， 其特 征在于： 所述根据多个所述第一视频获取多个第一图片集， 包括： 根据每一个所述第 一视频获取第 三图片集， 所述第 三图片集为所述第 一视频的所有图 片帧根据时间序列构成的图片集； 构建所述第一图片集； 从所述第三图片集中获取第一图片， 检测该第一图片是否模糊， 并检测该第一图片与 所述第一图片集中的已有图片是否相似； 若 所述第一图片不模糊且与所述第一图片集中的 已有图片均不相似， 则将所述第一图片作为第一 目标图片， 且获取第一预设间隔帧数 的图 片作为下一个第一图片； 若所述第一图片模糊或者所述第一图片与所述第一图片集中的任 意已有图片相似， 则获取第二预设间隔帧数的图片作为下一个第一图片； 将所述第一目标图片存 储在所述第一图片集中。 3.根据权利要求2所述的智能化稻田杂草识别方法， 其特 征在于，权　利　要　求　书 1/3 页 2 CN 115170973 B 2所述检测该第一图片是否模糊， 包括： 计算所述第一图片的梯度矩阵， 计算梯度矩阵所有元素的方差， 如果该方差小于预定方差阈值， 则判断所述第一图片 模糊； 如果该 方差大于等于预定方差阈值， 则判断所述第一图片不模糊。 4.根据权利要求2所述的智能化稻田杂草识别方法， 其特 征在于， 检测该第一图片与所述第一图片集中的已有图片是否相似， 包括： 利用双线性插值将所述第一图片和所述第一图片集中的所有图片的尺寸压缩至第一 尺寸； 利用超绿色法将压缩后的所有图片转 为灰度图片； 计算灰度图片所有像素点的均值， 对灰度图片进行二值化处理， 大于均值的像素点记 为1， 小于均值的像素点记为0， 得到仅包 含0或1的矩阵； 计算第一图片对应的矩阵和所述第一图片集中的每个图片所对应的矩阵的差的绝对 值， 得到仅包 含0和1的差值矩阵； 计算所述差值矩阵的所有元素的和， 当所述差值矩阵的所有元素的和小于预设差值阈 值， 则判断所述第一图片和第一图片集中的对应图片相似， 当所述差值矩阵的所有元素 的 和大于等于预设差值阈值， 则判断所述第一图片和第一图片集中的对应图片不相似。 5.根据权利要求1所述的智能化稻田杂草识别方法， 其特 征在于， 所述第一视频还携带有环境温度信息、 环境湿度信息和稻田水位信息； 将所述环境温度信息、 环境湿度信息和稻田水位信息添加在每一个输出的全连接中， 在每一个全连接层的输入张量中附加 这3个维度的数值， 每一个全连接的输出为2个， 包括 输入图片为第一杂草种类的概 率和输入图片不是第一杂草种类的概 率。 6.一种智能化稻田杂草识别装置， 其特 征在于， 包括： 第一获取单元， 用于获取多个第 一视频， 所述第 一视频为稻田杂草视频， 所述第 一视频 携带有杂草种类信息； 第二获取单元， 用于根据多个所述第一视频获取多个第一图片集； 所述第一图片集包 括多个第一图片， 所述第一图片携带有所述第一视频的杂草种类信息： 稻田杂草识别模型构建单元， 用于搜索最佳的深度残差网络结构得到第 一深度残差网 络结构； 根据多个所述第一图片集和所述杂草种类信息训练所述深度 残差网络得到稻田杂 草识别模型， 所述深度残差网络具有所述第一深度残差网络结构； 第三获取 单元， 用于获取第二图片； 识别单元， 用于将所述第二图片输入至所述稻田杂草识别模型 得到第一识别结果； 所述深度残差网络结构包括输入部分、 中间部分和输出部分； 所述中间部分由4个残差Block组成， 每个残差Block由多个卷积Layer和旁路连接组 成， 每个卷积Layer由Batc hNorm批归一 化、 ReLU激活函数和Co nv2D卷积按顺序连接而成， 所述输出部分为多输出形式， 每一个输出针对一种杂草类别， 一次识别同时判断多种 杂草的存在情况； 所述中间部分的结构通过从ENAS搜索空间中寻找最佳的深度残差网络结构来确定， 所 述ENAS搜索空间的内容包括： 每一个残差Bl ock所包含卷积Layer的数量， 数量范围为1 ‑5个；权　利　要　求　书 2/3 页 3 CN 115170973 B 3