(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210992920.0 (22)申请日 2022.08.18 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 崔子冠　苏航　唐贵进　干宗良　 刘峰　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 林青 (51)Int.Cl. G06V 20/52(2022.01) G06T 7/55(2017.01) G06V 10/46(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度信息和显著性信息的人群计数方 法及系统 (57)摘要 本发明公开了一种基于深度信息和显著性 信息的人群计数方法及系统， 包括： 采集指定区 域的人群样 本图像； 将采集到的人群样本图像输 入训练好的基于显著性信息和深度信息的密度 图预测模型； 输出人群样本图像中的总人数。 将 人群显著性信息引入了人群计数领域， 将人头标 注点作为人眼关注点， 利用高斯模糊生成人群计 数的视觉显著性标签， 利用深度学习网络进行训 练测试， 得到了人群计数的视觉显著性信息， 辅 助人群计数的训练； 利用视觉显著性信息和深度 信息相结合的方式来辅助人群计数， 利用显著性 信息可以校正深度信息， 降低没有人群信息区域 造成的干 扰， 提高计数效果。 权利要求书2页 说明书5页 附图2页 CN 115331171 A 2022.11.11 CN 115331171 A 1.一种基于深度信息和显著性信息的人群 计数方法， 其特 征在于， 包括： 采集指定区域的人群样本图像； 将采集到的人群样本图像输入训练好的基于显著性信息和深度信息的密度图预测模 型； 输出人群样本图像中的总人 数。 2.根据权利要求1所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述密度图预测模型 是通过以下 方法构建的： 利用图像深度信息预测网络对输入的人群样本图像进行深度预测， 得到图像深度信 息； 将输入的人群样本图像、 其对应的预测显著性信 息以及深度信 息一起输入人群密度图 预测网络， 利用显著性信息校正深度信息， 利用校正后的深度信息指导密度图预测网络训 练， 生成密度图预测模型。 3.根据权利要求2所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述显著性信息是利用显著性预测模型对输入的人群样本图像进行显著性图的预测生成的， 所述显著性预测模型 是通过以下 方法构建的： 对输入的人群样本图像对应的人头标注数据进行高斯模糊， 生成真值显著性图； 利用视觉显著性预测网络对输入的人群样本图像进行显著性信 息的预测， 生成预测显 著性图； 根据预测显著性图和真值显著性图计算损 失函数， 通过梯度反向传播调整网络参数， 经过迭代， 生成显著性预测模型。 4.根据权利要求3所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述对输入的人群样本图像对应的人头标注数据进 行高斯模糊， 是使用标准差为 19的高斯核 函数对其进行高斯模糊。 5.根据权利要求2所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述密度图预测网络训练， 包括： 对于输入的人群样本图像R， 与其对应的深度图D和显著性图S， 在编码器的第l层， 令Rl、 Dl和Sl分别为编码器先前卷积层的输出特征图， 用相应层的显著性特征校正深度特征， 校正 方法为： Vl＝sigmoid(Φs(Sl)) Dl＝Vl⊙Dl 其中， Φs代表1×1的卷积层， Vl为编码器第l层的权 重，⊙表示元素级别乘法； 将校正后的深度信息Dl对Rl加权为 Rl＝Rl⊙Dl 其中，⊙为元素级别乘法； 之后将Rl、 Dl和Sl输入到后续网络 。 6.根据权利要求5所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述密度图预测网络， 包括： 编码模块、 深度校正与嵌入 模块、 增强多尺度模块、 解码模块； 所述编码模块用于提取输入图像的多 级特征； 所述深度校正与嵌入 模块用于深度信息的校正与融合；权　利　要　求　书 1/2 页 2 CN 115331171 A 2所述增强多尺度模块用于多尺度综合特 征提取与融合； 所述解码模块用于 输出尺寸与输入图像相同的预测密度图。 7.根据权利要求6所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述编码器模块为经过预训练的VGG16网络； 所述增强多尺度模块包括多分支 不同扩张率的3 ×3卷积； 所述 解码模块 为7层扩张卷积网络， 用于 输出尺寸与输入图像相同的预测密度图。 8.根据权利要求1所述的基于深度信 息和显著性信 息的人群计数方法， 其特征在于， 所 述输出人群样本图像中的总人 数， 包括 利用密度 预测模型生成人群样本图像的预测密度图， 通过对预测密度图各像素点求和 获得图中的总人 数。 9.一种基于深度信息和显著性信息的人群计数系统， 其特征在于： 包括处理器及存储 介质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执 行权利要求1～8任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115331171 A 3