(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211353463.7 (22)申请日 2022.11.01 (71)申请人 山东省人工智能研究院 地址 250000 山东省济南市历下区科院路 19号 申请人 山东中联视听信息科技股份有限公 司　 泰华智慧产业 集团股份有限公司 　 青岛海尔智能技 术研发有限公司 (72)发明人 高赞　纪威　李传森　郝敬全　 刘大扬　张蕊　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 黄学国 (51)Int.Cl. G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/50(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 面向公共安全视频的全局感知小目标智能 检测方法 (57)摘要 本发明属于目标检测与识别技术领域， 本发 明提供了一种面向公共安全视频的全局感知小 目标智能检测方法， 包括以下步骤： 图像线下预 处理， 样本平衡数据增强； 构建模型网络结构； 构 建模型损失函数： 在分类损失和置信度损失采用 交叉熵损失， 在回归损失中对于原有的回归损失 基础上加入角点距离损失； 使用SC非极大值抑制 方法保留有效检测框； 输入待检测图像检验本方 法模型有效性。 本发明利用全局信息提高检测小 目标物体的准确率和召回率， 通过多重非极大值 抑制保留有效锚框， 解决了目前基于锚框目标检 测中小目标物体难以检测， 锚框难以匹配等诸多 问题。 权利要求书3页 说明书8页 附图4页 CN 115410060 A 2022.11.29 CN 115410060 A 1.一种面向公共安全视频的全局感知小目标智能检测方法， 其特征在于， 包括以下步 骤： 步骤S1. 图像线下 预处理， 样本平衡数据增强： S11.输入训练图像之前线下计算每个类别样本数量， 找到最多样本数量的类， 数量记 为 ； S12.对除去 所有类图像样本做复制后随机增强， 增强方法包括随机缩放后加入椒盐 噪声、 随机缩放后高斯模糊或随机缩放后直方图变换， 将增强后的图像写到标注文件中； 步骤S2.构建模型网络结构 : 需要搭建全局注意力网络与原方法骨干网络做特征融合， 再添加P2检测层专用于检测 小目标； 步骤S3.构建模型损失函数： 在分类损失和置信度损失采用交叉熵损失， 在回归损失中对于原有的回归损失基础上 加入角点距离损失； 步骤S4.使用SC非极大值抑制方法 保留有效检测框； 步骤S5.输入待检测图像 检验本方法模型有效性： 将测试图片输入到本方法模型中， 再与标准标注信息做对比， 指标采用目标检测通用 评价指标[email protected]:0.95 。 2.根据权利要求1所述面向公共安全视频的全局感知小目标智能检测方法， 其特征在 于， 样本平衡数据增强具体公式如下： 式中： 代表所有样本数量， )代表随机在 与 区间取个数， 用于随机 改变图像大小， 代表类为n的样本数量， 表示三种随机方法中的一种数据增强方法。 3.根据权利要求1所述面向公共安全视频的全局感知小目标智能检测方法， 其特征在 于， 构建模型网络结构具体过程如下： （1） 搭建全局特 征骨干网络提取全局特 征 利用步骤S1数据增强后的图像裁剪或扩张成1536 ×1536×3大小， RGB图像经过Focus 卷积将原图像通道数扩张到64， 图像变为B ×64×W/2×H/2， 其中B为BatchSize大小； 将经 过Focus卷积的特征图再经过一次Conv卷积得到B ×128×W/4×H/4特征图， 再使用全局注 意力GAM方法减少空间维度和通道维度的信息损失， 放大全局维度交互特征， 最终得到B × 128×W/4×H/4特征图,将原方法骨干网络中卷积替换为空洞卷积， 进一步增大感受野， 提 取全局特 征； （2） 增加P2检测层 将得到包含全局信息的特征图， 特征图经过4次普通卷积会形成多个特征图减小但通 道维度增加的特征图， 此时特征图为四层倒三角特征金字塔， 利用第一个四层正三角金字 塔得到的特征图再经过4次上采样和多次卷积会形成多个宽高逐步增加， 通道信息逐步减 小的特征图， 此时形成4层正三角特征金字塔， 分别连接特征图大小相同的4层正三角特征 金字塔特征图和4层倒三角金字塔特征图， 特征图大小分别为B ×512×W/4×H/4、 B×128×权　利　要　求　书 1/3 页 2 CN 115410060 A 2W/8×H/8、 B×256×W/16×H/16、 B×512×W/32×H/32， 其中B ×512×W/4×H/4特征图经过 一层卷积得B ×45×W/4×H/4特征图， 该特征图作为检测网络中的P2层。 4.根据权利要求1所述的面向公共安全视频的全局感知小目标智能检测方法， 其特征 在于， 采用二元交叉熵损失函数BCEWithLogitsLoss计算分类损失和置信度损失， 具体计 算公式如下： 上式中 代表模型预测出物体的数量   就表示每一个预测物体的置信度， 代表本 方法模型预测是物体的概率， 经过 函数可以将 映射到0到1区间， 代表是否为真 实物体， 如果不是真实物体 取0， 否则 取1； 作用是算出预测是物 体概率与真实物体之间差异； 定位损失采用本方法 损失， 当预测框与真实框两中心点重合且两框宽高比例相 同时也能反映两 框之间的损失， 它的基础原型 是 损失， 具体公式计算如下： 其中IoU为两个预测框的交并比， 为两框中心点的欧氏距离， 分别预测框左上、 右上、 左下、 右下顶点， 分别代表真实框左上、 右上、 左下、 右下顶点， 考虑到 了两框之间重 叠面积、 中心点距离、 尺度对比， 最终Loss如下所示： 。 5.根据权利要求1所述的面向公共安全视频的全局感知小目标智能检测方法， 其特征 在于， 步骤S4具体如下： 由步骤S4得到P2检测层， 加上原方法的P3、 P4、 P5检测层共有四层检测层， 在每个检测 层分别预测， 预测结果输入SC非极大值抑制方法中， SC函数具体如下： 式中： 为经过SC非极大值抑制后的预测框得分， 为预测框初始得分， 为权　利　要　求　书 2/3 页 3 CN 115410060 A 3