(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822542.1 (22)申请日 2022.07.12 (71)申请人 北京云集智造科技有限公司 地址 100000 北京市朝阳区来广营西路5号 院5号楼5层5 06室 (72)发明人 代斌伟　朱品燕　 (74)专利代理 机构 北京博识智 信专利代理事务 所(普通合伙) 16067 专利代理师 邓凌云 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/28(2019.01) G06F 16/25(2019.01) (54)发明名称 一种系统化的多源异构运维数据接入并转 换的方法 (57)摘要 本发明公开了一种系统化的多源异构运维 数据接入并转换的方法， 包括以下步骤， (1)配置 数据源， 预定的数据源目前有 kafka数据源， 文件 数据源， zabbix指标源， p rometheus指标源， 数据 源可以灵活定制， 可以方便的扩展到关系型数据 库； (2)选择数据目标数据格式， 目标格式主要 为 json， 需要定义字 段名， 定义json字 段的嵌套 等； (3)定义映射 关系。 采用上述技术方案， 具备以下 优点： (1)轻松扩展数据源， 快速适配新类型数据 源。 (2)开发者不必写复杂的代码， 只需输入配置 参数， 创建任务。 (3)调试修改方便， 无需经过复 杂的本地调试， 编译， 上线等阶段。 (4)能够大幅 节省数据接入时间， 从而降低成本 。 权利要求书1页 说明书3页 附图1页 CN 115269649 A 2022.11.01 CN 115269649 A 1.一种系统化的多源异构运维数据接入并转换的方法， 其特 征在于： 包括以下步骤， (1)配置数据源， 预定的数据源目前有kafka数据源， 文件数据源， zabbix指标源， prometheus指标源， 数据源可以灵活定制， 可以方便的扩展到关系型 数据库； (2)选择数据目标数据格式， 目标格式主要为json， 需要定义字段名， 定义json字段的 嵌套等； (3)定义映射关系， 映射关系包括基础映射、 连接映射和表达式映射； (4)创建流任务， 我们将前面几个步骤输入的内容转换成任务的参数传入后台引擎， 后 台引擎逻辑是预先定义好的， 后台使用nifi提供高可用， 分布式， 这样就完成了数据流从接 入到输出的转换 过程。 2.根据权利要求1所述的一种系统化的多源异构运维数据接入并转换的方法， 其特征 在于： 所述 步骤(1)中数据类型支持指标 数据、 日志数据和跟踪数据的一种或几种。 3.根据权利要求1所述的一种系统化的多源异构运维数据接入并转换的方法， 其特征 在于： 所述步骤(3)中基础映射也可以称作一对一映射指从源数据中的一个字段对应目标 格式的一个字段。 4.根据权利要求1所述的一种系统化的多源异构运维数据接入并转换的方法， 其特征 在于： 所述步骤(3)中连接映射也可以称作多对一映射指从源数据中的多个字段对应目标 格式的一个字段， 内容可以顺序拼接而成。 5.根据权利要求1所述的一种系统化的多源异构运维数据接入并转换的方法， 其特征 在于： 所述步骤(3)中表达式映射是指利用自定义函数实现对源数据字段的特定转换表达 式可引用源数据字段， 对字段内容进行转换， 引用字段以！ {开头， 以结束分隔符}结尾。权　利　要　求　书 1/1 页 2 CN 115269649 A 2一种系统化的多源异构运维数据 接入并转换的方 法 技术领域 [0001]本发明涉及 运维数据领域， 具体是指一种系统化的多源异构运维数据接入并转换 的方法。 背景技术 [0002]运维数据种类繁多， 按照数据格式来分的话分为指标数据、 日志数据和跟踪 (Tracing)数据。 指标数据通常是结构化数据， 日志数据通常是半结构化数据， 而跟踪数据 既有结构化数据又有半结构化的日志数据。 同时按照数据来源来分的话， 运维数据又可以 从不同数据来源获取， 例如不同的监控平台和日志系统， 以及从配置管理系统(CMDB)中获 取硬件的配置数据等， 所以运维数据是真正的多源异构数据。 [0003]在做智能运维(AIOps)平台过程中， 需要对运维数据 进行大量的清洗、 转换、 关联、 打标签等处理后交由AI算法进行消费， 而由于数据源格式的不同， 迫切需要一种 方法将源 数据转换为相应的目标格式数据， 同时在转换 过程中将它 们进行关联。 [0004]在运维领域现有的技 术方案主 要是基于pytho n脚本的转换 方式。 [0005]现有技术的缺点主要包括： [0006](1)开发周期较长： 现有技术主要是写代码开发。 需要经历需求调研， 设计， 开发， 测试阶段， 开发周期较长； [0007](2)数据处理质量不高： 经常会因为数据处理流程的不完善导致的数据质量问题， 导致需要反复修改； [0008](3)数据处理能力差： 因为是独立的python脚本， 所以在处理大数据量时捉襟见 肘， 不能很好的处 理海量运维数据。 [0009]基于上述多个原因， 一种系统化的多源异构运维数据接入并转换的方法成为整个 社会亟待解决的技 术问题。 发明内容 [0010]为解决上述技术问题， 本发明提供的技术方案为： 一种系统化的多源异构运维数 据接入并转换的方法， 包括以下步骤， [0011](1)配置数据源， 预定的数据源目前有kafka数据源， 文件数据源， zabbix指标源， prometheus指标源， 数据源可以灵活定制， 可以方便的扩展到关系型 数据库； [0012](2)选择数据目标数据格式， 目标格式主要为json， 需要定义字段名， 定义json字 段的嵌套等； [0013](3)定义映射关系， 映射关系包括基础映射、 连接映射和表达式映射； [0014](4)创建流任务， 我们将前面几个步骤输入的内容转换成任务的参数传入后台引 擎， 后台引擎逻辑是预先定义好的， 后台使用nifi提供高可用， 分布式， 这样就完成了数据 流从接入到 输出的转换 过程。 [0015]进一步地， 所述步骤(1)中数据类型支持指标数据、 日志 数据和跟踪数据的一种或说　明　书 1/3 页 3 CN 115269649 A 3