(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210586858.5 (22)申请日 2022.05.27 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 顾寄南　王化佳　王梦妮　张文浩　 张志杰　夏子林　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 汪芬 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 改进U-net 语义分割模型构建方法及用于茶 嫩芽识别与采摘点定位方法、 系统 (57)摘要 本发明公开了改进U ‑net语义分割模型构建 方法及用于茶嫩芽识别与采摘点定位方法、 系 统， 通过构建改进的U ‑net语义分割网络 结构， 并 利用带标签嫩芽数据集和不带标签嫩芽数据集 对改进的U ‑net语义分割网络进行训练， 实现半 监督学习。 实时拍摄茶叶嫩芽图片， 经预处理后 输入到训练好的网络模型进行特征提取和加强 特征提取得到语义分割预测结果， 其中 改进的预 测头部网络涉及到MSA模块， 实现多尺度通道注 意力； 最终根据语义分割结果， 定位出嫩芽采摘 点坐标， 实现基于改进U ‑net语义分割模型的茶 嫩芽的实时识别和采摘点定位。 权利要求书3页 说明书7页 附图2页 CN 114863112 A 2022.08.05 CN 114863112 A 1.一种改进 U‑net语义分割模型构建方法， 其特 征在于， 包括如下步骤： 步骤1： 采集多张待分割对象的图像， 对一部分图像进行语义分割标注， 获得带标签的 数据集； 剩余部分图像不进行语义分割标注， 形成不带 标签的数据集； 步骤2： 构建 改进的U‑net语义分割网络结构， 所述改进的U ‑net语义分割网络结构包括 编码器、 解码器、 半监 督训练分支和改进的预测头 部； 所述编码器的输入为待语义分割图像， 所述编码器的输出分别作为解码器的输入和半 监督训练分支的输入； 所述解码器的输出作为改进的预测头 部输入； 所述改进的预测头 部包括MSA模块内实现通道 注意力机制， 输出语义分割结果； 所述半监督训练分支包括加噪器和K个辅助解码器， 利用加噪器对编码器的输出进行 加噪， 加噪后的结果 分别输入K个辅助解码器； 利用K个辅助解码器输出的语义分割 结果为 步骤3： 利用步骤1中带标签的数据集和不带标签的数据集对所构建改进 的U‑net语义 分割网络进行训练。 2.根据权利 要求1所述的一种改进U ‑net语义分割模型构建方法， 其特征在于， 步骤3中 训练方法为： 步骤3.1， 利用带标签的数据集 按照每个批次大小， 通过编 码器进行特征提取， 再通过解码 器进行加强特征提取和上采样， 对MSA输出的语义分割结果 与标签值yi进行交叉熵损失计算 监督损失LS， 表达为： 对改进的U‑net网络进行反向传播， 以梯度下降方式更新编码器和解码器中的权重参 数； 步骤3.2， 利用不带标签的数据 按照每个批次大小， 通过编码器进行 特征提取， 将特征提取后的结果， 并行输入到解码器和加噪器中； 通过解码 器输出的语义分 割结果为 加噪器输出结果为 同时将 并行输入到K个辅助解码器中， 通 过辅助解码器输出的语义分割结果为 对MSA和辅助解码器输出结果进行一致性正 则化处理， 计算无监 督损失， 表达为： 对改进的U ‑net网络进行反向传播， 以梯度下降的方式更新编码器、 解码器和辅助解码 器的权重参数； 步骤3.3， 在每一个epoc h训练结束后计算半监 督损失， 表达为： L＝Ls+wuLu 其中， wu是一个无监 督损失加权函数。权　利　要　求　书 1/3 页 2 CN 114863112 A 23.一种基于改进U ‑net语义分割算法的茶嫩芽识别与采摘点定位方法， 其特征在于， 包 括如下步骤： 步骤1、 采集待识别茶叶嫩芽的图像， 并对所采集的茶叶嫩芽图像进行预处理； 预处理 包括对茶叶嫩芽图像进行降噪、 滤波等处 理； 步骤2、 将预处理后的茶叶嫩芽图像输入改进U ‑net语义分割模型； 输出语义分割结果； 基于上述训练好的改进 U‑net语义分割模型， 对输入的茶叶嫩芽图像进行语义分割识别； 步骤3、 基于语义分割结果进行边缘扫描得到嫩芽边缘， 基于嫩芽边缘计算嫩芽采摘 点； 步骤4、 融合嫩芽边 缘和嫩芽采摘点。 4.根据权利要求3所述一种基于改进U ‑net语义分割算法的茶嫩芽识别与采摘点定位 方法， 其特 征在于， 对输入的茶叶嫩芽图像进行语义分割识别的过程 为： 对训练好的改进U ‑net语义分割模型中的半监督训练分支进行剪支处理； 剪支处理后 的改进U‑net语义分割模型仅保留编码器、 解码器和改进的预测头 部； 将茶叶嫩芽图像作为输入， 利用剪支后的改进U ‑net语义分割模型进行语义分割识别， 输出语义分割结果。 5.根据权利要求3所述一种基于改进U ‑net语义分割算法的茶嫩芽识别与采摘点定位 方法， 其特征在于， 扫描语义分割结果中的茶叶嫩芽轮廓， 获得茶叶嫩芽轮廓的所有像素坐 标点， 其中横轴为x轴， 从左到右 为正方向， 纵轴为y轴， 从上到下为正方向， 对图像中每个嫩 芽轮廓的像素坐标点按y坐标值进行从大到小排序， 排序后的像素坐标点集合为D1＝{(x1， y1)，…， (xm，ym)}； 取出集合中前n个 像素点坐标集合为D2＝{(x1， y1)，…(xn，yn)}； 其中， n为整数且n＜m， n的取值由所对应的嫩芽轮廓面积决定， 具体如下表达式： 其中， M[″m00″]为每个嫩芽轮廓所围成的面积， c为一定值参数， 可根据具体茶种类和 不同相机内部参数进行取值。 由于M[ ″m00″]/c在多数情况下并非整数， 将其结果进行向下 取整数， 式 中， 为向下取整符号； 对D2＝{(x1， y1)，…(xn， yn)}像素坐标集合中所有点计算像素坐标平均值， 具体如下表 达式 所计算出来的x， y即为名优茶嫩芽采摘点的像素坐标点， 结合深度相机内部参数， 可以 根据此坐标点(x， y)计算出嫩芽采摘点的实际空间坐标(x,y,z)。 6.根据权利要求3所述一种基于改进U ‑net语义分割算法的茶嫩芽识别与采摘点定位 方法， 其特 征在于， 边 缘扫描采用OpenCV调用cv2.fi ndContours子函数的方法。 7.根据权利要求3所述一种基于改进U ‑net语义分割算法的茶嫩芽识别与采摘点定位 方法， 其特 征在于， 调用PI L库中的Ima ge.blend子函数实现嫩芽边 缘和嫩芽采摘点的融合。权　利　要　求　书 2/3 页 3 CN 114863112 A 3