(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210560077.9 (22)申请日 2022.05.23 (71)申请人 天津城建大 学 地址 300380 天津市西青区津静 路26号 (72)发明人 康广玉　葛云涛　张建勋　王悦　 赵坚　苏刚　罗春丽　刘进军　 郭福雁　潘雷　王贝贝　李艳君　 崔闻珊　任权昌　陆哲明　 (74)专利代理 机构 天津盛理知识产权代理有限 公司 12209 专利代理师 霍慧慧 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种领域图片细粒度分类识别方法及系统 (57)摘要 本发明涉及一种领域图片细粒度分类识别 方法， 首先基于训练集训练好三个能力互补的细 粒度分类深度神经网络， 然后对输入图片利用这 三个深度神经网络分别进行分类， 最后综合得到 最终分类识别结果。 本发明还涉及一种领域图片 细粒度分类识别系统， 包括处理中心和显示器， 处理中心与所述显示器通讯连接； 处理中心包括 高清摄像头、 预处理器、 计算中心及存储器。 本发 明涉及科学合理， 采用基于深度学习的神经网络 识别方法， 比传统方法的识别类别更多， 速度更 快， 准确率更高， 可 以在短时间内对大批量同领 域图片做出相对精准的细分类； 同时节省了大量 的人力资源及成本， 且便 于部署和移植。 权利要求书2页 说明书6页 附图4页 CN 114943845 A 2022.08.26 CN 114943845 A 1.一种领域图片细粒度分类识别方法， 其特征在于： 所述方法融合三种深度神经网络 进行领域图片细粒度分类识别， 首先基于训练集训练好三个能力互补的细粒度分类深度神 经网络， 然后对输入图片利用这三个深度神经网络分别进行分类， 最后 综合得到最终分类 识别结果， 所述方法的步骤为： 1)输入若干类待细分的同领域图片， 并将这些图片每个子类按文件夹存放， 生成训练 集； 2)利用步骤1)生成的训练集分别对NTS ‑Net、 MMAL‑Net、 PMG‑Net三个模型进行训练； 3)利用高清摄像头采集领域图片并输入到预处理器中或者将已有领域图片输入到预 处理器中； 4)预处理器接收步骤3)的领域图片并进行图片预处 理， 生成预处 理后的领域图片； 5)将步骤4)生成的领域图片送入含有已训练好 的深度神 经网络NTS ‑Net、 MMAL ‑Net和 PMG‑Net的计算中心， 输出每 个神经网络下的领域图片分类识别结果及置信度； 6)对步骤5)中三个神经网络输出的领域图片分类识别结果及置信度进行综合处理， 得 到最终的识别结果和置信度送到存储器中， 存储器接收所述识别结果进 行存储并向显示器 提供显示的内容。 2.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤1)中的 同领域图片是细粒度的， 包 含了同领域的不同子类。 3.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤4)中对 图片的预 处理包括对高清摄像头偶然情况采集到的错误图片使用算法进 行剔除、 对存在拖 影的图片合成重构为清晰图片及图片分辨 率调整。 4.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤5)中的 深度神经网络NTS ‑Net包含三个模块， 分别为Navigator模块、 Teacher模块及Scrutinizer 模块， 深度神经网络NTS ‑Net使Navigator模块能够在Teacher模块的指导下检测到图片中 最具判别性的区域， 然后Scruti nizer模块仔细检查 这些区域并做出 预测。 5.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤5)中的 深度神经网络MMA L‑Net具有3个 分支， 分别为学习图片中目标的总体特征、 定位图片中目标 的边框信息及图片中目标的局部特 征。 6.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤5)中的 深度神经网络PMG ‑Net通过两个相互协同工作的组件实现， 一方面用渐进的训练策 略有效 地融合来自不同粒度的特征； 另一方面用随机jigsaw  patch生成器， 鼓励网络在特定粒度 学习特征。 7.根据权利要求1所述的领域图片细粒度分类识别方法， 其特征在于： 所述步骤6)中综 合处理的标准为若置信度prob高于设定的阈值则图片存储至文件夹A下， 若置信度prob不 高于设定的阈值则图片存 储至待人工处 理文件夹下。 8.根据权利要求1～7所述的领域图片细粒度分类识别系统， 其特征在于： 包括处理中 心和显示器， 所述处理中心与所述显示器通讯连接， 所述处理中心获取领域图片处理后传 输给所述显示器进 行输出显示； 所述处理中心包括高清摄像头、 预 处理器、 计算中心及 存储 器， 所述高清摄像头执行采集领域图片并输入所述预处理器中， 所述预处理器接 收所述领 域图片后对图片进行预 处理生成预 处理后的领域图片， 所述预 处理后的领域图片被传输给权　利　要　求　书 1/2 页 2 CN 114943845 A 2所述计算中心； 所述计算中心对所述预处理后的领域图片进 行识别输出识别结果给所述存 储器； 所述存 储器接收所述识别结果进行存 储并且向所述显示器提供显示的内容。权　利　要　求　书 2/2 页 3 CN 114943845 A 3