(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210365047.2 (22)申请日 2022.04.08 (71)申请人 广东省人民医院 地址 510080 广东省广州市越秀区中山 二 路106号 (72)发明人 李晗　林健静　邓展涛　郑秋坚　 马元琛　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 王东东 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G16H 50/30(2018.01)G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/44(2022.01) (54)发明名称 一种小鼠关节炎疼痛 量化分析方法、 系统及 存储介质 (57)摘要 本发明公开了一种小鼠关节炎疼痛量化分 析方法、 系统及存储介质， 包括获取双视角小鼠 行为活动视频数据， 分割出小鼠图像； 提取视频 关键帧集合， 通过小鼠关键点标注得到小鼠图像 样本集， 训练姿态估计网络模型； 将分割出的小 鼠图像输入训练好的姿态估计网络模 型， 得到小 鼠关键点坐标及置信度评分， 然后将预测的关键 点坐标还原至原小鼠视频图像坐标系中； 对关键 点中的异常点进行检测与校正， 得到视频中小鼠 身体关键点追踪序列； 依据小鼠身体 关键点追踪 序列进行特征提取得到行为模式特征， 进行统计 分析后， 对小鼠关节炎疼痛进行量化评估。 本发 明利用更加丰富的动物行为信息， 对小鼠的关节 炎疼痛状态进行 可靠且全面的定量评估与检测。 权利要求书2页 说明书9页 附图4页 CN 114677764 A 2022.06.28 CN 114677764 A 1.一种小鼠关节炎疼痛量 化分析方法， 其特 征在于， 包括； 获取双视角小鼠行为活动视频数据， 检测每个视频帧中小鼠所在边框， 分割 小鼠图像， 所述双视角包括仰视和俯视； 提取视频关键帧集合， 通过小鼠关键点标注得到小鼠图像样本集， 训练基于堆叠 DenseNet的姿态估计网络模型； 将分割出的小鼠图像输入训练好的姿态估计网络模型， 得到小鼠关键点坐标及置信度 评分， 然后将预测的关键点 坐标还原至原小鼠视频图像坐标系中； 基于置信度评分和每个视频帧中小鼠关键点的瞬时运动速度对关键点中的异常点进 行检测与校正， 得到 视频中小鼠身体关键点追踪序列； 依据小鼠身体关键点追踪序列进行特征提取得到行为模式特征， 通过统计分析对小鼠 关节炎疼痛进行量 化评估。 2.根据权利要求1所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 所述检测每个视 频帧中小鼠所在边框， 分割小鼠图像， 具体为： 对俯视视角视频数据， 使用Sobel算子进行物体边缘检测， 提取内部面积最大的物体边 缘边框作为小鼠边框， 从而对俯视图中的小鼠图像进行分割； 对仰视视角视频数据， 首先利用位置不变性检测相机支架边框作为匹配模板， 然后利 用Sobel算子进 行物体边缘检测， 将 检测出的物体边缘与匹配模板进 行匹配， 筛选出包含小 鼠的边框， 对仰视图中的小鼠图像进行分割。 3.根据权利要求1所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 所述训练好的姿 态估计网络模型 是通过如下步骤获得： 采集多只小鼠的双视角行为活动视频数据， 利用主成分分析方法和k ‑means聚类方法 筛选关键帧， 作为待标注的图像样本集； 利用主动学习方式对待标注的图像样本集中小鼠的身体部位进行关键点标注， 其中， 俯视视频中标注 四个关键点， 所述四个关键点包括鼻头、 左耳、 右耳和尾基， 仰视视频中标 注六个关键点， 所述六个关键点包括鼻头、 左右前爪、 左右后爪和尾 基； 使用标注好的图像样本集训练基于堆叠DenseNet的姿态估计网络， 当训练损失不再下 降时停止网络训练， 得到训练好的姿态估计网络模型。 4.根据权利要求1所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 基于置信度评分 和每个视频帧中关键点的瞬时运动速度对异常点进行检测与校正， 得到视频中小鼠身体关 键点追踪序列， 具体为： 将置信度评分< 0.5的关键点索引进行筛 选， 保存为 outlier_index_conf； 根据筛选出的关键点 坐标， 计算每帧关键点的瞬时运动速度Vi； 根据瞬时运动速度Vi进行第一阶段异常点检测， 对于瞬时运动速度Vi>threshold_up 的关键点， 根据瞬时运动速度、 与前后帧相同关键点的夹角判断附近是否出现连续异常点， 保存异常点索引outlier_in dex1； 同时， 保存由异常点存在导致瞬时运动速度threshold_ low<Vi<thresho ld_up的正常点的索引ad dition_index； 将基于置信度评分与瞬时运动速度检测出的所有异常点索引进行整合， 去掉重复元素 后进行排序， 得到 视频中小鼠身体关键点追踪序列。 5.根据权利要求4所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 对于仰视视角视权　利　要　求　书 1/2 页 2 CN 114677764 A 2频关键点还 包括第二阶段异常点检测， 所述第二阶段异常点检测包括： 对瞬时运动速度threshold_low<Vi<threshold_up的点的索引outlier_index2， 首先 剔除与addition_index重复的元素， 然后判断与前后帧相同关键点之间的夹角， 若小于90 ° 则判定为异常点。 6.根据权利要求1所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 所述姿态估计网 络模型包括 瓶颈层、 压缩层、 堆叠DenseNet层 及坐标还原层； 具体工作过程 为： 所述瓶颈层及压缩层用于减少网络参数； 采用具有中间监 督的密集连接堆叠DenseNet层进行 特征学习， 输出关键点 坐标； 所述坐标还原层根据小鼠分割图像与原视频图像坐标之间的对应关系， 将关键点坐标 还原到原视频图像坐标系中。 7.根据权利要求1 ‑6任一项所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 所述依 据小鼠身体关键点追踪序列进行 特征提取得到行为模式特 征， 具体是： 从俯视视频中的鼻头、 尾 基关键点序列中提取自发行为与情绪特 征； 从仰视视频中的左、 右后爪关键点序列中提取步态与自发行为特 征。 8.根据权利要求7所述的小鼠关节炎疼痛量化分析方法， 其特征在于， 所述所述俯视视 频中提取 的自发行为特征包括鼻头平均运动速度、 尾基平均运动速度、 站立次数及站立总 时长； 所述俯视视频中提取的情绪特征包括中央区域进入次数、 滞留时长、 中央区域运动路 程及四周与中央区域 运动路程差； 仰视视频中提取的步态特征包括左、 右后爪的每步平均运动 步幅、 左、 右后爪的每步平 均运动时长、 左、 右后爪的每步平均运动速度、 左、 右后爪每步运动步幅之差、 左、 右后爪每 步运动速度之差及左、 右后爪每步 运动时长之差和运动周期之差； 仰视视频中提取的自发行为特征包括左、 右后爪运动时间、 左、 右后爪平均运动速度、 左、 右后爪运动步数、 总运动时间、 连续行 走次数及连续行 走总步数。 9.一种基于权利要求1 ‑8任一项所述小鼠关节炎疼痛量化分析方法的系统， 其特征在 于， 包括： 视频同步拍摄模块： 用于获取双视角小鼠行为活动视频 数据； 预处理模块： 检测每 个视频帧中小鼠所在边框， 分割出小鼠图像； 姿态估计预测模块： 将分割出的小鼠图像输入训练好的姿态估计网络模型， 得到小鼠 关键点坐标及置信度评分， 然后将预测的关键点 坐标还原至原小鼠视频图像坐标系中； 后处理模块： 基于置信度评分及每个视频帧小鼠的瞬时运动速度对关键点中的异常点 进行检测与校正， 得到 视频中小鼠身体关键点追踪序列； 特征提取模块： 依据小鼠身体关键点追踪序列进行 特征提取得到行为模式特 征； 特征统计分析模块： 基于提取的模式特征指标， 在实验组与对照组小鼠之间进行统计 分析， 从而对小鼠关节炎疼痛进行量 化评估。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1 ‑8任一项所述小鼠关节炎疼痛量 化分析方法。权　利　要　求　书 2/2 页 3 CN 114677764 A 3