(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210934838.2 (22)申请日 2022.08.04 (71)申请人 辽宁排山楼黄金矿业有限责任公司 地址 123126 辽宁省阜新市阜蒙县新民镇 上排山楼村 (72)发明人 刘晓明　苑兴伟　梁国海　王美蠲　 冯宇晴　齐飞祥　李文　吕长昊　 (74)专利代理 机构 长沙启昊知识产权代理事务 所(普通合伙) 4326 6 专利代理师 谢珍贵 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/2455(2019.01) G06F 16/907(2019.01) G06F 16/957(2019.01)G06Q 50/02(2012.01) (54)发明名称 一种矿山数据采集系统 (57)摘要 本发明公开了一种矿山数据采集系统， 包 括： 数据存储库模块， 数据存储库模块包括： 流文 件库和内容库和来源库， 数据存储库模块用于 保 存采集流数据的数据来源信息以及实际内容字 节信息和采集流的状态日志信息； 采集流模块， 采集流模块通过任务调度、 数据清洗、 数据分发、 采集配置、 状态管理、 数据可视化、 采集监控实现 对数据的灵活的采集和处理； 输出模块， 输出模 块通过对外接口实现统一的数据发送。 本发明支 持大规模数据采集充分考虑数据量大规模的增 长， 对数据量大的采集场景， 支持通过配置任务 多线程和多节 点集群运行方式， 实现采集任务的 负载均衡， 避免采集流程出现单任务瓶颈或者单 节点瓶颈， 满足业 务稳定性和可靠性要求。 权利要求书2页 说明书5页 附图2页 CN 115237989 A 2022.10.25 CN 115237989 A 1.一种矿山数据采集系统， 其特 征在于， 包括： 数据存储库模块， 所述数据存储库模块包括： 流文件库和内容库和来源库， 所述数据存 储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日 志信息； 采集流模块， 所述采集流模块通过任务调度、 数据清洗、 数据分发、 采集配置、 状态管 理、 数据可视化、 采集 监控实现对数据的灵活的采集和处 理； 输出模块， 所述输出模块通过对外接口实现统一的数据发送， 支持数据发送到大数据 平台、 消息队列和具体业 务系统。 2.根据权利要求1所述的一种矿山数据采集系统， 其特 征在于： 所述采集 流模块包括： 接入层， 所述接入层用于支持接入多源异构的数据源， 所述接入层能保证数据源配置 的共享调用， 动态管理连接数量， 提高了网络传输和处 理效率； 服务层， 所述服务层用于提供多样化的采集流程配置， 灵活的配置数据处理规则进行 数据清洗和转换， 将数据转换为标准和统一的格式后提供 给应用接口； 应用层， 所述应用层用于用户通过可视化界面或者命令接口进行告警管理、 日志管理、 安全管理和模板管理。 3.根据权利要求2所述的一种 矿山数据采集系统， 其特征在于： 所述数据源包括数据库 接口、 自动化系统接口、 文件接口和 消息队列接口， 具体为： 1)自动化系统： OPC、 MODBUS、 HT TP、 COAP、 XMP P、 MQTT； 2)数据库： MySQ L、 Oracle、 SQ L Server、 PostgreSQ L； 3)文件： 音频、 视频、 文档、 其 他文件、 FTP、 SFTP； 4)消息队列： Kafka。 4.根据权利要求2所述的一种矿山数据采集系统， 其特 征在于： 所述 服务层功能包括： 数据流配置、 数据流管理、 数据流 监控和数据管理功能； 所述服务层包括数据处理组件， 所述数据处理组件用于支撑用户根据实际场景完成配 置数据采集 流程； 所述数据处理组件能对不同格式数据进行处理， 支持根据 数据内容自动分发数据到对 应处理流程； 所述数据处理组件支持配置相关规则对数据进行纠错、 去重、 去空值、 统一规 格、 补足残 缺等数据处理功能， 并且 数据处理组件能进 行数据类型、 数据值域、 数据粒度、 属 性构造等数据转换， 提供 元数据信息给 上层应用。 5.根据权利要求2所述的一种矿山数据采集系统， 其特 征在于： 所述应用层包括： Web服务和接口服 务； 通过所述Web服务提供组件拖拽 式的配置功能， 同时能对系统日志、 告警以及配置模板 进行管理； 所述接口服 务按照类型分为消息队列、 数据库、 文件 存储以及Rest  API接口。 6.根据权利要求5所述的一种矿山数据采集系统， 其特征在于： 所述消息队列支持 Kafka、 MQT T； 所述数据库支持MySQL、 Oracle、 SQL  Server、 PostgreSQL关系数据库及实时数据库， 支 持HDFS文件 存储、 HBase分布式数据库存 储接口。 7.根据权利要求1所述的一种 矿山数据采集系统， 其特征在于： 所述数据采集系统采集权　利　要　求　书 1/2 页 2 CN 115237989 A 2整体流程包括： 与数据源建立连接、 协议 解析、 数据处 理以及将数据发送到目标系统。 8.根据权利要求7所述的一种 矿山数据采集系统， 其特征在于： 所述数据采集系统采集 流程具体步骤为： 1)建立连接的类型通过TCP/IP网络建立连接， 部分 设备系统通过串口建立连接； 2)协议解析需根据采集源数据发送的格式进行选择， 将多余格式过滤， 保留有用数据 内容； 3)数据处 理需要根据业 务需求进行， 比如封装 对应的元 数据信息 到数据内容里； 4)数据发送阶段需选择目标系统对应的接口将已处 理完的数据进行发送。 9.根据权利要求1所述的一种 矿山数据采集系统， 其特征在于： 所述数据存储库模块所 述数据来源信息存 储前， 需要 进行数据源分析， 所述数据源分析流 程为： 合并非结构化数据源的查询的结果和结构化数据源的查询的结果； 将被合并的结果存储在内存数据库处， 所述内存数据库位于分析组件本地； 以及运行 所述分析组件， 以从所述内存数据库中访问被合并的结果并且提供与所述结构化数据源的 内容和所述非结构化数据源的内容对应的输出。权　利　要　求　书 2/2 页 3 CN 115237989 A 3