(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041676 3.9 (22)申请日 2022.04.20 (71)申请人 中国农业大 学 地址 100193 北京市海淀区 圆明园西路2号 (72)发明人 李道亮　李新　杜壮壮　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 张文宝 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于图像融合技术的鱼类异常行为实时检 测方法 (57)摘要 本发明公开了属于水产养殖技术领域的基 于图像融合技术的鱼类异常行为实时检测方法。 该方法具体如下： 获取待处理的鱼类异常行为的 视频； 删除鱼类行为不清晰的图像， 得到鱼类异 常和正常行为的图像； 对鱼类异常行为的图像进 行平均值法灰度化； 对灰度图像进行中值滤波； 对中值滤波后的灰度图像进行canny边缘检测； 采用混合高斯提取边缘灰度图像的运动特征； 对 运动鱼类的轮廓图像和鱼类异常行为的图像进 行融合； 根据鱼类异常行为的图像位置和轮廓信 息对YOLOv5网络进行改进； 对融合图像进行数据 增强； 将数据增强后的融合图像输入目标检测网 络进行训练。 本发明中可使 得鱼类运动特征的轮 廓信息更加清晰， 提高异常行为检测结果的准确 性。 权利要求书1页 说明书5页 附图1页 CN 114943929 A 2022.08.26 CN 114943929 A 1.基于图像融合 技术的鱼类异常行为实时检测方法， 其特 征在于， 包括以下步骤： 步骤S1： 获取待处 理的鱼类异常行为的视频； 步骤S2： 从步骤S1的视频中提取图像， 删除鱼类行为不清晰的图像， 得到鱼类异常和正 常行为的图像； 步骤S3： 对鱼类异常行为的图像进行平均值法灰度化， 获得 灰度图像； 步骤S4： 对步骤S3获得的灰度图像进行中值滤波； 步骤S5： 对步骤S4中值滤波后的灰度图像进行canny边缘检测， 获得鱼体运动行为的边 缘灰度图像； 步骤S6： 采用混合高斯 提取边缘灰度图像的运动特 征， 获取运动鱼类的轮廓图像； 步骤S7： 对步骤S6中运动鱼类的轮廓图像和步骤S2中的鱼类异常行为的图像进行融 合， 得到融合图像； 步骤S8： 根据鱼类异常行为的图像位置和轮廓信息对YOLOv5网络进行改进， 得到捕获 全面时空信息的目标检测网络； 步骤S9： 对步骤S7的融合图像进行数据增 强， 并获取符合目标检测网络需求的图像数 量； 步骤S10： 将步骤S9数据增强后的融合图像输入目标检测网络进行训练， 得到网络实时 检测的鱼类异常行为。 2.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法， 其特征在于， 所述步骤S2提取图像的间隔为 三十帧。 3.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法， 其特征在于， 所述步骤S8中得到目标检测网络的过程如下： 首先， 在YOLOv5网络的基础上加入CA得到CA ‑ YOLOv5网络； 然后， 在CA ‑YOLOv5网络中添加Bifpn加权的双向特 征金字塔网络 。 4.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法， 其特征在于， 所述步骤S9中对融合图像进行数据增强的处理方法包括翻转、 镜像、 缩放、 裁剪、 平移和仿 射。权　利　要　求　书 1/1 页 2 CN 114943929 A 2基于图像融合技术的鱼类异常 行为实时检测方 法 技术领域 [0001]本发明涉及水产养殖技术领域， 尤其涉及基于图像融合技术的鱼类异常行为实时 检测方法。 背景技术 [0002]近年来， 水产品在全球食品供应链中发挥着重要作用， 水产养殖鱼类福利研究越 来越受到关注。 游泳行为被广泛用于评价鱼类摄食状况、 产卵繁殖活动以及福利水平的重 要指标。 鱼体的异常行为会对养殖鱼类的健康产生重大影响， 利用一种非侵入性、 稳定的计 算机视觉系统监测鱼的健康状况， 可以有效判别鱼类实时的异常行为且不会对鱼体造成负 面影响。 目前， 大量研究多是在特定条件下 的水产养殖环境中进行鱼轨迹追踪或鱼群的检 测， 虽然识别鱼的运动轨迹可以揭示健康状况， 但在高密度养殖环境中， 精确识别相同运动 模式的准确性较差， 且 难以实现。 [0003]卷积神经网络可用于识别鱼群中移动物体的不同状态， 并进行定性群体行为分 析。 然而， 这类研究大多依赖于精确的目标跟踪或背景减法， 当鱼缸中的鱼较多时， 鱼体会 明显重叠或遮挡， 导致目标跟踪或背景减除时信息丢失。 此外， 疾病、 缺氧或水pH值变化引 起的异常需要一段时间才能使鱼类状态发生变化。 因此在高密度养殖中， 鱼群的行为发生 改变之前对个体的异常行为进 行检测具有重要意义。 识别鱼个体异常行为最具挑战性的方 面是准确识别与异常行为相似的运动。 [0004]已有研究利用时间序列数据分析鱼类行为， 允许对鱼类行为的有效性进行评估， 但该方法忽略了时空位置信息对异常行为的影响， 相似行为的识别需要时间和空间信息的 结合。 为了解决上述问题， 一种基于高效住区、 时间和空间方面的行为检测和识别的鱼类取 食行为监测框架被提出， 同时结合两个并行注意模块。 但上述研究提出 的技术仅针对时空 网络特征 的提取， 忽略了图像中鱼体位置信息的价值， 存在一定的局限性。 同时， 集约养殖 中的图像对比度低、 光照差、 噪声显著， 而且当摄像机远离鱼体时， 鱼的目标轮廓会变小或 模糊。 在这些情况下， 深度学习算法不能正确提取小鱼体的边缘轮廓信息， 导致异常行为识 别准确率较低。 为此， 亟需一种基于图像融合技术的鱼类异常行为实时检测方法来提高检 测结果的准确性。 发明内容 [0005]本发明的目的是提出一种基于图像融合技术的鱼类异常行为实时检测方法， 其特 征在于， 包括以下步骤： [0006]步骤S1： 获取待处 理的鱼类异常行为的视频； [0007]步骤S2： 从步骤S1的视频中提取图像， 删除鱼类行为不清晰的图像， 得到鱼类异常 和正常行为的图像； [0008]步骤S3： 对鱼类异常行为的图像进行平均值法灰度化， 获得 灰度图像； [0009]步骤S4： 对步骤S3获得的灰度图像进行中值滤波；说　明　书 1/5 页 3 CN 114943929 A 3