(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211153659.1 (22)申请日 2022.09.21 (71)申请人 中国水产科 学研究院东海水产研究 所 地址 200090 上海市杨 浦区军工路3 00号 申请人 苏州捷安信息科技有限公司 (72)发明人 王书献　张胜茂　郑汉丰　王伟　 郭全友　杨矫捷　樊伟　戴阳　 (74)专利代理 机构 上海申浩 律师事务所 31280 专利代理师 田敏 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种中华 绒螯蟹头胸甲特 征点识别的方法 (57)摘要 本发明公开了一种中华绒螯蟹头胸甲特征 点识别的方法， 包括以下步骤： 使用手机拍摄中 华绒螯蟹头胸甲照片； 使用目标识别模型检测出 图片中的头胸甲并对图片 进行剪裁； 使用随机缩 放、 随机旋转、 随机遮挡、 随机亮度对比度等方法 对图像进行增强； 设计一种3 7点的中华绒螯蟹头 胸甲定位法， 人工使用37点中华绒螯蟹头胸甲定 位法对初始图片进行特征点标注； 设计端对端可 微分神经网络模型， 使用标注的图片进行训练； 使用训练完成的模型， 对拍摄的图片进行特征热 力标注和特征点标注。 本发明显著降低了中华绒 螯蟹养殖观测、 质量检测等环节中的人工的工作 量， 并大大提高了 工作效率。 权利要求书1页 说明书5页 附图5页 CN 115359324 A 2022.11.18 CN 115359324 A 1.一种中华 绒螯蟹头胸甲特 征点识别的方法， 其特 征在于， 具体包括以下步骤： (1)使用手机对采集到的中华绒螯蟹样本进行拍照， 通过迁移学习使用通用目标检测 模型对中华 绒螯蟹头胸甲部分进行裁 剪， 对剪裁后的数据进行增强； (2)设计一种37点的中华 绒螯蟹， 使用37个特 征点定位中华 绒螯蟹的头胸甲轮廓； (3)基于该37点特 征点定位方法对图片进行 标注， 标注文件以xml格式存 储； (4)设计端对端可微分卷积神经网络， 将增强后的图像输入网络进行训练， 直到训练参 数收敛； (5)保存训练好的模型， 输入新的头胸甲图片， 程序自动完成特征点热力图的生成以及 特征点的标注。 2.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(1)中拍摄手机在螃蟹的正上方， 左右或前后倾斜的角度尽量控制在10 °以内以保证所 有的特征点均被拍摄到， 拍摄过程经历从早上9点到傍晚6点的自然光。 3.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(1)中的数据增强采用了随机遮挡、 随机旋转、 随机亮度对比度等多种增强方案随机组 合的数据增强方式。 4.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(1)中的数据增强的同时计算出对应 变换后的标签文件， 不需要手动再次标注。 5.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(2)中的37点定位法遵守以下规定， 37点定位方法对于头胸甲的12个齿(4个额齿、 4个 左侧前齿以及4个右侧前齿)， 每个齿使用起点、 齿峰、 终点三个特征点定位， 相邻的两个齿 之间共用一个特 征点， 后边 缘使用3个特 征点做定位， M形颈沟则由7个特 征点定位。 6.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(3)标注的文件以树状结构 存储在xml文件中， 每张图片使用<image>标签确定， <image >标签的file属性为文件名， <image>标签下的<label>标签存储中华绒螯蟹编号， 每个< part>标签存储一个特征点， 在part标签中， name、 x、 y三个属性分别表示特征点的编号、 水 平偏移量、 垂直偏移量。 7.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法， 其特征在于， 所述 步骤(4)中所述的设计端对端可微分卷积神经网络包括以下子步骤： (41)设计包含7个卷积模块的全卷积神经网络， 在该全卷积神经网络中使用全局深度 卷积(GDCo nv)替代传统的全局平均池化操作， GDCo nv的计算过程 为 Gm＝∑Ki， j， m·Fi， j， m， F是GDConv层的输入， K是卷积核， G是GDConv层的输出， 若F的大小为w ×h×m， 则K的尺 寸也是w×h×m， G的尺寸是1 ×1×m； (42)经过全卷积神经网络后， 对各通道进行Softmax归一化 Z′i， j＝exp (Zi， j)， 定义出X、 Y矩阵， 其中 i＝1， 2， ......， m； j＝1， 2， ......， n， 计 算推理的的坐标(x， y)， x＝<Z ′， X>F， y＝<Z′， Y>F， 上述过程中m， n分别表示特 征矩阵的宽度和高度， <A， B>F矩阵A、 B中的对应元素相乘后相加的结果， 最后， 计算预测的 特征点位置(x， y)与标签文件中坐标的L oss值， 并更新 参数。权　利　要　求　书 1/1 页 2 CN 115359324 A 2一种中华绒螯蟹头胸甲特征点识别的方 法 技术领域 [0001]本发明涉及深度学习技术在渔业中的应用领域， 特别是涉及一种中华绒螯蟹头胸 甲特征点识别的方法。 背景技术 [0002]中华绒螯蟹， 一种节肢动物门、 甲壳纲、 十足目、 爬行亚目、 绒螯蟹属的生物， 因其 独特美妙的口感而持续受到 市场青睐。 早在20世纪初， 中华绒 螯蟹开始从 中国引入德国。 随 后， 在1920 ‑1930年代， 中华绒螯蟹数量激增， 其分布范围迅速扩 大到许多北欧河流和河口。 1992年， 旧金山湾南部的商业虾拖网渔船在西海岸收集了第一批中华绒螯蟹。 中华绒螯蟹 已经成为世界各地的菜品， 具有很大 的经济价值和潜力。 在中国， 根据生长环境， 中华绒螯 蟹被分为长江种群、 辽河种群、 瓯江种群、 黄河种群等多个种群。 为了研究绒螯蟹的各种属 性在形态上 的体现， 各领域学者对螃蟹的形态学展开了较为充分的研究。 但是尚未形成方 便快捷， 方便批量操作的分类方法。 基于特征点检测的计算机图像识别技术上可为该问题 的解决提供新的技 术路径。 [0003]特征点检测是计算机视觉中的重要研究分支。 特征点检测目前已经广泛应用到目 标匹配、 目标跟踪、 三维重建等领域中。 传统特征点检测常用角点等作为重要的点特征， 应 用较广泛的特征点检测算法包括Harr is角点检测和SIFT特征检测等。 而随着深度学习的发 展， 基于神经网络的特征点检测方法逐渐成为特征点检测的主流方法之一。 目前， 基于神经 网络的特征点检测方法主要分成全连接回归法和高斯Heatmap回归法。 全连接回归法通常 在卷积神经网络的最后加入一个全连接层， 将特征图映射到坐标点。 直观性是全连接回归 方法一个显著的优点， 全连接层可以将全局特征直接连接到特征点的坐标。 但是， 全连接回 归方法会极大损害网络的空间泛化能力。 一种极端的情况是， 当训练数据中所有的螃蟹都 在图像的左上角， reshape成为一 维特征向量后， 全连接层的激活权重主要集中在一维向量 的前半部分。 用该网络测试一张螃蟹位于右下角的图片， 很难取得很好的效果。 因此， 全连 接回归方式过于依赖训练数据的分布， 较容易造成过拟合。 高斯热图回归法是目前人体姿 态估计领域的主要方法， 高斯热图的特征图较大， 空间泛化能力较强。 同时， 高斯热图也存 在内存占用高、 训练和推理速度慢等问题， 这种方式的梯度流 也不是端到端的。 发明内容 [0004]本发明所要解决的技术问题是提供一种中华绒螯蟹头胸甲特征点识别的方法， 能 够通过手机拍摄的中华绒 螯蟹头胸甲照 片， 快速计算出中华绒螯蟹头胸甲的37个特征点坐 标并进行 标注。 [0005]本发明是通过以下技 术方案实现的： [0006]一种中华 绒螯蟹头胸甲特 征点识别的方法， 具体包括以下步骤： [0007](1)使用手机对采集到的中华绒螯蟹样本进行拍照， 通过迁移学习使用通用目标 检测模型对中华 绒螯蟹头胸甲部分进行裁 剪， 对剪裁后的数据进行增强；说　明　书 1/5 页 3 CN 115359324 A 3