(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210538688.3 (22)申请日 2022.05.18 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 秦文虎　杨雨锟　孙立博　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/00(2006.01) G06T 5/00(2006.01) G06T 7/60(2017.01) (54)发明名称 一种生猪体尺视觉测量的特征点选取及测 量方法 (57)摘要 本发明提供了一种生猪体尺视觉测量的特 征点选取及测量方法。 包括以下步骤： 对猪舍进 行图像采集， 并基于张正友相机标定法计算相机 畸变参数， 对 图像的径向畸变进行校正； 将图像 输入YOLOv5得到猪只的检测框， 并根据检测框从 图像中对猪只进行切割提取， 得到单只猪只的 图 像； 对猪只特征点进行选取， 建立新的猪只特征 点数据集， 融合注意力机制获取图像中的猪只特 征点； 设计基于深度神经网络的猪只特征点评估 算法， 根据识别出的特征点坐标对猪只体态进行 判断并对体尺数据能否测量进行评估； 采用仿射 变换、 结合采集设备安装位置的数据对猪只体尺 进行测量。 该方法提高了猪只体尺测量过程中的 检测效率， 对养猪生产过程的智 能化实现， 提升 养殖水平具有重要意 义。 权利要求书3页 说明书7页 附图3页 CN 114973321 A 2022.08.30 CN 114973321 A 1.一种生猪 体尺视觉测量的特 征点选取及测量方法， 其特 征在于： 包括以下步骤： 步骤S1、 在养殖猪舍中架设导轨以及巡检设备， 在巡检设备上安装摄像头， 通过交换机 与主机连接采集图像； 步骤S2、 获得采集图像构 建生猪养殖图像数据集， 图像输入YOLOv5， 通过骨干 网络提取 图像特征信息， 特征信息经过卷积计算得到猪只检测包围框左上角在图像中的坐标以及长 宽大小， 从而将猪只从图像中进行分离； 步骤S3、 根据大量统计测 试设计猪只特征点， 以SimpleB aselines算法为基础， 融合注 意力机制， 获取图像中猪只的特征点信息， 并根据猪只检测包围框的左上角坐标将仅包含 单个个体猪只的图像中的特 征点坐标还原至采集的猪舍 养殖环境图像中； 步骤S4、 基于深度神经网络设计猪只特征点评估算法， 其输入为识别出的特征点坐标， 输出为猪只姿态与体尺信息是否可以通过图像进行测量； 步骤S5、 采用仿射变换将拍摄的猪舍养殖环境图像变换成正上方往下拍摄的视角， 并 将猪只特 征点坐标变换至 仿射变换后的图像中的对应点的坐标； 步骤S6、 根据 得到的猪只特征点在图像 中的坐标信 息， 结合设备安装角度以及高度、 长 度信息， 对猪只体尺进行计算。 2.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S1的具体步骤如下： 步骤S11、 在养殖猪舍内部的过道上方架设导轨， 安装可以进行横向移动的巡检机器设 备， 在巡检机器设备 上安装摄 像头， 对猪舍中其中一侧的猪栏进行图像采集； 步骤S12、 根据张正友相机标定法， 对相机畸变参数进行计算， 求出径向畸变三阶公式 中的畸变参数k1、 k2、 k3， 再根据径向畸变公式对图像进行矫正， 其中(x,y)是矫正前图像中 像素坐标， 是矫正后对应 像素坐标： 步骤S13、 采用网线将巡检设备以及摄像头连接至交换机上， 再从交换机牵引网线与养 殖猪舍外 围放置的主机相连接， 通过主机对巡检设备以及摄像头进行控制， 从而采集得到 相应的图像数据。 3.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S2的具体步骤如下： 步骤S21、 采用labelme对采集图像进行标注， 采用方框对每头猪只进行框选， 保存得到 json格式标注文件； 将标注文件转换至对应信息的txt文本文件， 与图像一起形成数据集输 入YOLOv5进行训练； 步骤S22、 提取图像的猪只检测框， 根据检测框的坐标(x0,y0)以及尺寸(h,w)对图像中 的单个猪只图像进行截取， 用于后续特 征点检测。 4.根据权利要求3所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S21及S22中的YOLOv5是一种单阶段目标检测算法， YOLOv5包括骨干网络、 颈网 络、 头网络三个部分， 其输入是640 ×640×3大小的图像， 图像经过算法 的三个部分处理后权　利　要　求　书 1/3 页 2 CN 114973321 A 2输出三种大小的识别结果， 最后通过极大值抑制的方式得到图像中的猪只识别框 。 5.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S3的具体步骤如下： 步骤S31、 从图像中选取100头以上的猪只， 采用边缘检测、 质心算法、 包络线方法获取 猪只身体上 的多个特征点， 进行统计与测试， 从多种猪只特征点选取其中用于猪只体尺计 算的出现频率较高的特征点； 由此设计选取左右耳根、 左右前腿、 肩胛骨中心、 尾巴根部这 六个点作为猪只特征点用于表征猪只特征信息， 进而用于猪只体尺计算； 左耳根、 右耳根记 为点1、 点2， 左前腿、 右前腿记为 点3、 点4， 尾巴根部为 点5， 肩胛 骨中心记为点6； 步骤S32、 将步骤S22中得到的 个体猪只图 像输入融合了注意力机 制的 SimpleBaselines中， 通过骨干网络提取特征， 再利用反卷积得到热图， 从热图中得到特征 点后， 利用仿射变换得到输入图像中的猪只特征点坐标， 点1至点6的坐标表示为(x1,y1), (x2,y2),(x3,y3),(x4,y4),(x5,y5),(x6,y6)， 相比传统猪只体尺测量方法， 猪只背部肩胛骨 中心点6的选取， 使得处于站立或平躺时姿态 弯曲的猪只同样可以测量体长； 步骤S33、 根据步骤S22中得到的裁剪之前的猪只 检测框坐标与大小， 将步骤S32中得到 的特征点坐标还原得到特 征点裁剪前原图像中的坐标， 表示 为(xi+x0,yi+y0),i＝1～6。 6.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S4的具体步骤如下： 步骤S41， 基于深度神经网络， 设计猪只特征点评估算法， 该算法由多层全连接层构成； 算法输入为特征点识别算法识别出的6个特征点坐标， 若图像中某特征点未识别出， 则该点 坐标设定为(0,0)。 ； 算法输出包括三项， 第一项为猪只姿态， 包括姿态笔直、 弯曲、 侧卧； 第 二项为猪只体长能否进 行测量， 输出1为可测量， 0为不可测量； 第三项为猪只体宽能否进 行 测量， 输出1为可测量， 0为 不可测量。 7.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S5的具体步骤如下： 步骤S51， 张正友标定法中原本还存在用于矫正不平行画面的切向畸变， 但是考虑到相 机与被拍摄养殖猪只画面角度难以测定， 因此这里采用仿射变换替代切向畸变； 在采集的 养殖猪舍图像中选取猪栏边界的四个角落作为基准点， 通过仿射变换将这四个点变换至大 小为(H,W)的矩形的四个角点， 使图像角度转换至俯视角度； 其中仿射变换可以通过公式 (x′,y′,z′)T＝M(x,y,z)T表示， 其中M表示3 ×3大小的矩阵， 在变换前的图像中选取4个点， 根据这四个点在变换后图像中预 先设定的坐标求出矩阵M； 步骤S52， 根据计算得到的矩阵M计算得到变换后特征点在新图像中的坐标(x ″i,y″i),i ＝1～6， 其计算方式如式： (x′i,y′i,z)T＝M(xi,yi,1)T (x″i,y″i)＝(x′i/z,y′i/z)。 8.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法， 其特征在 于： 所述步骤S6的具体步骤如下： 步骤S61、 测量出摄像头安装水平面与地面之间的高度Hcam， 人工测量得到猪栏中猪只 平均高度Hpig， 测量得到猪栏实际长宽(Hcol,Wcol)， 则猪只的实际体长Dl和体宽Dw则可以通 过 下式计算得到， 其中猪只体宽由猪只左右前腿即点3和4间距计算得到， 猪只体长表示为左权　利　要　求　书 2/3 页 3 CN 114973321 A 3