(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094893 5.7 (22)申请日 2022.08.09 (71)申请人 洛阳师范学院 地址 471934 河南省洛阳市伊滨区吉庆路6 号 (72)发明人 张斌斌　张永新　李德光　沈家全　 徐国梁　潘梦蝶　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) (54)发明名称 基于CLIP模型的牲畜分娩监测预警系统与 方法 (57)摘要 本发明公开了基于CLIP模型的牲畜分娩监 测预警系统与方法， 包括有如下的监测预警系 统： S1： 采集和获取目标猪的彩色图像以及热红 外图像信息； S2： 获得目标猪的体态变化日志、 饲 食日志、 行为日志和孕检信息； S3： 将 采集到的 图 像和文字信息输入到CLIP 模型中， 通过计算图像 和文本的匹配。 本发明中通过采集和获取目标猪 的彩色图像、 热红外图像信息以及目标猪的体态 变化日志、 饲食日志、 行为日志和孕检的文本信 息， 并将信息打包合并到CLIP模型中， 利用CLIP 模型的训练任务， 预测猪的图片与大数据图像相 匹配， 通过猪 分娩大数据对测试运行后的数据进 行比对， 并将目标猪分娩的情状差异比对出来， 得到目标猪需要预警注意的分娩信息 。 权利要求书2页 说明书6页 附图1页 CN 115359418 A 2022.11.18 CN 115359418 A 1.基于CLIP模型的牲畜分娩监测预警系统与方法， 其特征在于： 包括有如下的监测预 警系统： ①、 热红外图像采集单 元以及彩色图像采集单 元； ②、 目标猪的体态变化日志单 元、 饲食日志单 元、 行为日志单 元和孕检信息单 元； ③、 含有猪分娩大 数据的CL IP模型。 2.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于： 还包括有如下的监测预警方法： S1： 在目标猪活动范围内铺设热红外摄像头和监控摄像头， 以1h*600张～1h*1000张 的 数量分别拍摄目标猪的热红外图像信息以及彩色图像信息， 并记录在SD卡中， 并且承载SD 卡的终端设备设定为超出 7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息； S2： 与S1同步进行， 人工记录目标猪的体态变化、 进食和排便(排便量以划定目标猪经 常活动的区域和划定时间为准， 划定时间是以间隔1h， 2h， ……5h， 以此类推， 以此时间段内 记录目标猪的排便量)、 行为以及孕检信息， 以一式两份文本格式 留存； S3： 将S1和S2中获得的热红外图像信息、 彩色图像信息以及文本信息打包合并输入到 CLIP模型中， 并在CLIP 模型中下载Conc eptualCaptions数据集， 将下载的数据集进行清洗， 将下载的空图片或者 不完整的图片数据过 滤， 同时针对CL IP模型中的开源代码进行调整； S4： 利用CLIP模型中的命令行工具对输入 的目标猪信息进行测试运行， 通过猪分娩大 数据对测试运行后的数据进 行比对， 其中利用FREAK算法， 对热红外图像信息以及彩色图像 信息进行特征提取， 建立矩阵D， D 的每一行是一个FREAK二进制描述符， 即每一行有n个元 素， 并对矩 阵D的每一列计算其均值， 每一列都有一个均值， 以均值最接近0.5的排在第一 位， 均值离0.5越远的排在越靠后， 对列进行排序； 选取前512列作为最终的二进制 描述， 由 于FREAK描述符自身的圆形对称采样结构使其具有旋转不变性， 采样的位置好半径随着尺 度的变化使其具有尺度不变性， 对每个采样点进 行高斯模糊， 也具有一定的抗噪性能， 像素 点的强度对比生成二进制描述子使其具有光照不变性， 因此由上述产生的二进制描述可以 用来进行特征匹配， 同时用O表示局部梯度信息， M表示采样点对个数， G表 示采样点对集合， PO表示采样点对的位置， 则获得如下公式： 再由计算机计算公式， 得到不同图片512bit的二进制描述符， 该描述符的列是高方差 到低方差的排列， 而高方差表征了模糊信息， 低方差表征了细节信息， 与人眼视网膜相似， 人眼先处理的是模糊信息， 再处理细节信息， 因此， 选取前128bit即16bytes进行匹配(异 或)， 若两个待匹配的特征点前16bytes距离小于设定的阈值， 则再用剩 余的位信息进行匹 配， 这种方法可以剔除掉90％的不相关匹配点， 获得目标猪分娩的情状与大数据之间的比 对差异情况， 从而得到目标猪需要预警注意的分娩信息 。 3.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于： 所述②中的的体态变化日志主要记录目标猪的乳房是否胀大有光泽， 两侧乳头是否外胀呈 八字分开， 以及临产的目标猪是否腹围变小， 阴门松懈， 尾根附近塌陷等情况。 4.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于：权　利　要　求　书 1/2 页 2 CN 115359418 A 2所述①中的热红外图像采集单元以及彩色图像采集单元， 为围绕目标猪活动范围铺设的若 干热红外摄 像头和监控摄 像头。 5.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于： 所述②中饲食日志主 要针对记录目标猪的进食量变化， 排便量变化。 6.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于： 所述②中的行为日志主要记录目标猪在待分娩期间是否有起卧不安， 在 圈舍内来回走动， 叼草絮窝， 排 零星粪便行为， 以及目标猪的阴门是否红肿， 伴有黏液流出， 频 频排尿行为。 7.根据权利要求2所述的基于CLIP模型的牲畜分娩监测预警系统与 方法， 其特征在于： 所述步骤S1中需要融合深度神经网络与条件随机场方法， 对动物行为的视频关键帧进行像 素级标注， 并在视频序列的时空图基础上定义马尔科夫随机场与单变量势函数， 利用深度 神经网络方法提取运动检测子， 结合轨迹 分析检测子， 对其分布区域进 行长时分析， 实现动 物运动行为检测。 8.根据权利要求2所述的基于CLIP模型的猪分娩监测预警方法， 其特征在于： 所述步骤 S4中目标猪分娩的情状差异包括有： 目标猪是否存在流产、 早产、 难产现象， 以及猪腹中幼 崽是否存在畸形、 携带疾病的情况。权　利　要　求　书 2/2 页 3 CN 115359418 A 3