(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210644973.3 (22)申请日 2022.06.08 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 胡懋成　汪玉冰　王秋阳　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于自监督的人群密度统计方法、 装置、 设 备及介质 (57)摘要 本发明实施例公开了一种基于自监督的人 群密度统计方法、 装置、 设备及介质， 方法包括获 取图像数据； 对图像数据进行处理， 以得到样本 图； 将样本图输入到人群密度统计模型中， 以得 到人群密度图； 根据人群密度图累加求和得出人 的数量。 本发明基于可变形卷积， 动态滤波卷积， 空洞卷积等多种特征提取算子对图像进行特征 提取， 加大了人群密度统计模型对图像信息的抽 取， 能更好的提取图像特征。 多种自注意力机制 并结合AP损失函数不仅提升模型对图片中不同 尺度大小目标的识别兼容程度， 同时强化了对 远、 小目标的注意力， 提升了模型识别的精 准度。 基于注意力图和密度图进行人群密度统计， 加大 了模型监督信息， 从而加快了模型训练收敛， 提 高了模型的准确度。 权利要求书3页 说明书17页 附图2页 CN 114913482 A 2022.08.16 CN 114913482 A 1.基于自监 督的人群密度统计方法， 其特 征在于， 包括： 获取图像数据； 对图像数据进行处 理， 以得到样本图； 将样本图输入到人群密度统计模型中进行 人群密度统计， 以得到人群密度图； 根据人群密度图累加求和得 出人的数量。 2.根据权利要求1所述的基于自监督的人群密度统计方法， 其特征在于， 所述将样本图 输入到人群密度 统计模型中进行人群密度 统计， 以得到人群密度图， 所述人群密度 统计模 型的处理方法包括： 将样本图输入到可变形 卷积和最大池化， 以得到第一处 理特征； 将样本图输入到动态滤波卷积和最大池化， 以得到第二处 理特征； 将样本图输入到van ill a卷积和最大池化， 以得到第三处 理特征； 将样本图输入到可转换的空洞卷积， 以得到第四处 理特征； 将第一处理特征、 第二处理特征、 第三处理特征与第四处理特征进行Concate融合， 以 得到第一融合特 征； 将第一融合特 征输入到自我纠正卷积， 以得到纠正特 征； 将第一融合特 征输入到van illa卷积和最大池化， 以得到第五处 理特征； 将第五处 理特征输入到AS PP， 以得到第六处 理特征； 将第六处 理特征输入到 CBAM， 以得到第七处 理特征； 将第五处 理特征输入到BAM， 以得到第八处 理特征； 将第八处 理特征输入到卷积块以及反池化处 理， 以得到第九 处理特征； 将纠正特 征、 第七处 理特征以及八处 理特征进行Co ncate融合， 以得到第二融合特 征； 将第二融合特征与第九处理特征的相乘的结果输入到转置卷积进行上采样， 以得到第 一上采样特 征； 将第一上采样特 征通过双线性差值进行 上采样， 以得到第二上采样特 征； 将第二上采样特 征输入到1 ×1卷积并且结合Sigmo id激活函数， 以得到注意力图； 将第二融合特 征输入到 CAN， 以得到第十处 理特征； 将第十处 理特征输入到反卷积进行 上采样， 以得到第三上采样特 征； 将第三上采样特 征通过双线性差值进行 上采样， 以得到密度图； 将注意力图与密度图结合， 以得到人群密度图。 3.根据权利要求2所述的基于自监督的人群密度统计方法， 其特征在于， 所述对图像数 据进行处 理， 以得到样本图， 包括： 对图像数据进行切分， 以得到切分图像数据； 从切分图像数据中选取一帧图片作为样本图。 4.根据权利要求2所述的基于自监督的人群密度统计方法， 其特征在于， 所述将样本图 输入到可转换的空洞卷积， 以得到第四处 理特征， 包括： 将样本图输入到全局平均池化和1 ×1卷积， 以得到第一结果； 将第一结果与样本图相加得到第二结果； 将第二结果输入到 3×3空洞率为1的空洞卷积， 以得到第三结果； 将第二结果输入到 3×3空洞率为3的空洞卷积， 以得到第四结果；权　利　要　求　书 1/3 页 2 CN 114913482 A 2将第二结果输入到全局池化和1 ×1卷积， 以得到第五结果； 将第五结果与第三结果相乘， 以得到第六 结果； 将第五结果与第四结果相乘， 以得到第七结果； 将第六结果与第七结果相加， 以得到第八结果； 将第八结果输入到全局池化和1 ×1卷积， 以得到第九结果； 将第九结果与第八结果相加， 以得到第四处 理特征。 5.根据权利要求2所述的基于自监督的人群密度统计方法， 其特征在于， 所述将第五处 理特征输入到BAM， 以得到第八处 理特征， 包括： 将第五处理特征的张量通过BAM的分支一输入到全局池化并连接两个全连接层， 以得 到分支一处 理结果； 将第五处理特征的张量通过BAM的分支二输入到1 ×1卷积处理后再输入到3 ×3的空洞 卷积以及1 ×1卷积， 以得到分支二中间处 理结果； 将分支二中间处理结果与分支一处理结果相加得到的结果输入到sigmoid激活函数， 以得到分支二处 理结果； 将第五处理特征的张量通过BAM的分支三与分支二处理结果相乘， 以得到分支三处理 结果； 将分支三处 理结果与第五处 理特征的张量相加， 以得到第八处 理特征。 6.根据权利要求2所述的基于自监督的人群密度统计方法， 其特征在于， 所述将第八处 理特征输入到卷积块以及反池化处理， 以得到第九处理特征， 所述卷积块由卷积、 Batch   Normalization以及Relu激活函数构成。 7.基于自监督的人群密度统计装置， 其特征在于， 包括获取单元、 处理单元、 统计单元 以及计算单 元； 所述获取 单元， 用于获取图像数据； 所述处理单元， 用于对图像数据进行处 理， 以得到样本图； 所述统计单元， 用于将样本 图输入到人群密度统计模型中进行人群密度统计， 以得到 人群密度图； 所述计算单 元， 用于根据人群密度图累加求和得 出人的数量。 8.根据权利要求7所述的基于自监督的人群密度统计装置， 其特征在于， 所述统计单元 包括第一输入模块、 第二输入模块、 第三输入模块、 第四输入模块、 第一融合模块、 第五输入 模块、 第六输入模块、 第七输入模块、 第八输入模块、 第九输入模块、 第十输入模块、 第二融 合模块、 第一上采样模块、 第二上采样模块、 处理模块、 第十一输入模块、 第三上采样模块、 第四上采样模块以及结合模块； 所述第一输入模块， 用于将样本 图输入到可变形卷积和最大池化， 以得到第一处理特 征； 所述第二输入模块， 用于将样本 图输入到动态滤波卷积和最大池化， 以得到第二处理 特征； 所述第三输入模块， 用于将样本图输入到vanilla卷积和最大池化， 以得到第三处理特 征； 所述第四输入 模块， 用于将 样本图输入到可转换的空洞卷积， 以得到第四处 理特征；权　利　要　求　书 2/3 页 3 CN 114913482 A 3