(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211305329.X (22)申请日 2022.10.24 (71)申请人 深圳市万物云科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 刘子伟　王语嫣　袁戟　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 巫苑明 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) (54)发明名称 基于深度学习的遛狗违规行为检测方法、 装 置及设备 (57)摘要 本发明公开了基于深度学习的遛狗违规行 为检测方法、 装置及设备， 该方法包括： 获取监控 视频数据并抽帧得到待检测图像； 对 所述待检测 图像进行犬只和行人检测， 分别得到对应的检测 框； 计算得到所述犬只与所述行人之间的欧式距 离； 计算得到所述犬只附近的感兴趣区域； 对所 述感兴趣区域进行绳类连接物检测， 得到所述感 兴趣区域内的所述绳类连接物的信息； 当检测到 所述绳类连接物时， 判断所述犬只是否存在历史 追踪信息并做出对应修改； 根据k帧区间内所述 犬只的牵绳状态历史数值是否大于等于阈值来 判断是否违规遛狗。 本发明采用检测k帧区间内 犬只与行人之间的牵绳状态历史数值来判断是 否违规遛狗， 提高了公共场合管 理人员管理犬只 的效率。 权利要求书3页 说明书11页 附图4页 CN 115546729 A 2022.12.30 CN 115546729 A 1.一种基于深度学习的遛狗违规行为检测方法， 其特 征在于， 包括： 获取监控视频 数据， 并进行抽帧处 理得到待检测图像； 根据第一目标检测算法对所述待检测图像进行犬只和行人检测， 分别得到所述犬只的 检测框和所述行 人的检测框； 利用所述犬只的检测框和所述行人的检测框， 计算得到所述犬只与 所述行人之间的欧 式距离； 通过 所述欧式距离计算得到所述犬只附近的感兴趣区域； 根据第二目标检测算法对所述感兴趣区域进行绳类连接物检测， 得到所述感兴趣区域 内的所述绳类连接物的信息； 根据所述绳类连接物的信息确认是否检测到绳类连接物， 当检测到所述绳类连接物 时， 判断所述犬只是否存在历史追踪信息； 若是， 则更新所述犬只的牵绳状态历史数值； 若 否， 则对所述犬只的牵绳状态进行初始化； 判断k帧区间内所述犬只的牵绳状态历史数值是否大于等于阈值； 若是， 则判断为正常 遛狗； 若否， 则判断为违规遛狗； 其中， 当所述犬只周围未检测到所述行人时， 则判断为流 浪 犬。 2.根据权利要去1所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 所述获 取监控视频 数据， 并进行抽帧处 理得到待检测图像， 包括： 获取监控视频 数据， 并进行抽帧处 理得到获得原 始图像； 对所述原始图像的色彩及空间域调整， 完成所述原始图像的色差校正并按如下公式计 算得到空域重构图像： 其中， I(g)代表所述原始图像中g点的像素值； I(h)代表所述原始图像中h点的像素值； (I(g)‑I(h))代表g， h两点的像素差； ||g ‑h||代表距离度量； Ω代表所述原始图像中所有像 素点集合； Sα(t)代表坡度函数； R(g)代 表所述空域重构图像； 对校正后的所述空域重构图像进行动态扩展， 并按如下公式将所述空域重构图像归一 化到[0,1]之间， 得到所述待检测图像： 其中， L(g)代 表所述待检测图像； max  R代表R(g)的最大值； mi n R代表R(g)的最小值。 3.根据权利要去1所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 在所述 根据第一目标检测算法对所述待检测图像进 行犬只和行人检测， 分别得到所述犬只的检测 框和所述行 人的检测框之前， 包括： 对所述第一目标检测算法进行训练， 并按如下损失函数进行优化： Lloss＝ λ1Lconf+λ2Lcla+λ3Lloc 其中， Lconf代表是否为目标的置信度损失， Lcla代表类别损失， Lloc代表定位损失， λ1、 λ2 和 λ3均代表对应的平衡系数； Lloss代表总损失。 4.根据权利要去1所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 所述利 用所述犬只的检测框和所述行人的检测框， 计算得到所述犬只与所述行人之间的欧式距权　利　要　求　书 1/3 页 2 CN 115546729 A 2离， 包括： 按如下公式计算得到所述犬只与所述行 人之间的欧式距离： 其中， Dij代表第i个犬只与第j个 行人的欧式距 离； 和 分别代表第i个犬只的中心点 横坐标和第 i个犬只的中心点纵坐标； 和 分别代表第j个行人的中心点横坐标和第j个 行人的中心点纵坐标。 5.根据权利要去1所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 所述通 过所述欧式距离计算得到所述犬只附近的感兴趣区域， 包括： 通过所述欧式距离计算得到距离所述犬只最近的行 人， 作为目标 行人； 按如下公式计算得到所述犬只附近的感兴趣区域： IR＝[min(x1,m1),min(y1,n1),max(x2,m2),max(y2,n2)] 其中， IR代表所述犬只附近的感兴趣区域； min(x1,m1)代表取所述犬只的检测框左上角 横坐标与所述目标行人的检测框左上角横坐标之间的最小值； min(y1,n1)代表取所述犬只 的检测框左上角纵坐标与所述目标行人的检测框左上角纵坐标之间的最小值； max(x2,m2) 代表取所述犬只的检测框右下角横坐标与所述目标行人的检测框右下角横坐标之间的最 大值； max(y2,n2)代表取所述犬只的检测框右下角纵坐标与所述目标行人的检测框右下角 纵坐标之间的最大值。 6.根据权利要去1所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 还包 括： 根据卡尔曼滤波算法对所述犬只进行追踪预测， 计算得到所述犬只的追踪框； 利用匈 牙利算法将所述犬只的检测框与所述犬只的追踪框进行匹配， 得到所述犬只的追踪信息 。 7.根据权利要去6所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 所述根 据卡尔曼 滤波算法对所述犬只进行追踪预测， 计算得到所述犬只的追踪框， 包括： 将所述犬只的状态向量表示 为： 其中， s代表检测框的面积； r 代表横纵比； 均代表相应的变化速率； X代 表所述犬 只的状态向量； T代 表第T时刻； 按如下公式将所述 卡尔曼滤波算法的预测值与观测值进行 数据融合， 得到融合 值； 其中， 代表第k帧的融合值； 代表根据所述犬只的运动状态计算出的第k帧的预测 值； Kk代表卡尔曼增益； zk代表所述犬只的检测框测量值； H代表所述犬只的状态向量到测量 值的转换矩阵； 代表残差。 8.根据权利要去6所述的基于深度学习的遛狗违规行为检测方法， 其特征在于， 所述利 用匈牙利算法将所述犬只的检测框与所述犬只的追踪框进 行匹配， 得到所述犬只的追踪信权　利　要　求　书 2/3 页 3 CN 115546729 A 3