(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210735209.7 (22)申请日 2022.06.27 (71)申请人 中银金融科技有限公司 地址 200120 上海市浦东 新区(上海)自由 贸易试验区银城中路20 0号4楼408室 (72)发明人 苗青　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 胡程潇 (51)Int.Cl. G06F 9/48(2006.01) G06F 11/30(2006.01) G06F 16/25(2019.01) (54)发明名称 基于配置的触发式任务调度装置 (57)摘要 本发明提供一种基于配置的触发式任务调 度装置， 包括驱动模块、 ETL任务编辑模块、 任务 处理模块及流程控制轮询模块； 驱动模块用于记 录上游文本上传至HDFS分布式文件系统过程中 的文本状态参数； ETL任务编辑模块用于生成前 端界面， 以通过前端界面编辑 或查询表加工配置 信息； 任务处理模块用于根据表加工配置信息完 成至少一个表加工任务的处理， 并记录各表加工 任务对应的表处理状态信息； 流程控制轮询模块 用于在基于文本状态参数监听到进入表加工任 务的情况下， 驱动任务处理模块完成至少一个表 加工任务的处理， 并监听各表加工任务的状态参 数， 以根据状态参数进行表加工任务调度， 从而 实现简化操作、 提高效率、 减少开发成本及时间 的效果。 权利要求书1页 说明书6页 附图1页 CN 115328624 A 2022.11.11 CN 115328624 A 1.一种基于配置的触发式任务调度装置， 其特征在于， 包括： 驱动模块、 ETL任务编辑模 块、 任务处 理模块及流 程控制轮询模块； 所述驱动模块用于记录上游文本上传至 HDFS分布式文件系统过程中的文本状态参数； 所述ETL任务编辑模块用于生成前端界面， 以通过所述前端界面编辑或查询表加工配 置信息； 所述任务处理模块用于根据 所述表加工配置信 息完成至少一个表加工任务的处理， 并 记录各所述表加工任务对应的表处 理状态信息； 所述流程控制轮询模块用于在基于所述文本状态参数监听到进入表加工任务的情况 下， 驱动所述任务处理模块完成至少一个表加工任务的处理， 并监听各所述表加工任务的 状态参数， 以根据所述状态参数进行表加工任务调度。 2.根据权利要求1所述的基于配置的触发式任务调度装置， 其特征在于， 所述流程控制 轮询模块包括文本监听器、 表加工监听器及 任务监听器， 所述文本监听器、 所述表加工监听 器及所述任务 监听器组成流 程处理框架。 3.根据权利要求2所述的基于配置的触发式任务调度装置， 其特征在于， 所述文本监 听 器用于对所述文本状态参数中的文本状态表进 行监听， 并在基于所述文本状态表监听到达 到表加工触发条件的情况下， 驱动所述任务处理模块完成至少一个表加工任务的处理， 并 触发所述表监听器及所述表加工过程 监听器进行监听。 4.根据权利要求2所述的基于配置的触发式任务调度装置， 其特征在于， 所述文本监 听 器还用于在监听到所述文本状态表出现文本异常状态的情况下， 进行文本异常状态更新处 理。 5.根据权利要求2所述的基于配置的触发式任务调度装置， 其特征在于， 所述表加工监 听器用于对表处理状态表进行监听， 并根据监听结果及内存资源使用情况触发下一级表加 工任务的处 理。 6.根据权利要求2所述的基于配置的触发式任务调度装置， 其特征在于， 所述任务监 听 器用于对执行各所述表加工任务对应的节点的内存资源使用情况进行监听， 并在监听到内 存资源使用情况达到预设最大负载限制的情况下， 进行跨节点表加工任务调度， 并根据调 度后的内存资源使用情况进行并发度控制。 7.根据权利要求6所述的基于配置的触发式任务调度装置， 其特征在于， 所述任务监 听 器还用于在调 度后的内存资源小于预设限制内存资源的情况下， 允许新的表加工任务的提 交。 8.根据权利要求1所述的基于配置的触发式任务调度装置， 其特征在于， 所述驱动模块 还用于通过socket接口连接 HDFS分布式文件系统， 以实现HDFS文件元 数据信息轮询功能。 9.根据权利要求1所述的基于配置的触发式任务调度装置， 其特征在于， 所述表加工配 置信息包括调度服务和运行服务器列表、 文件与表的处理关系参数、 文件与表的映射关系 参数中的至少一个。 10.根据权利要求1至9任一项所述的基于配置的触发式任务调度装置， 其特征在于， 所 述表加工任务包括数据格式转换任务、 列数校验任务、 数据类型校验任务、 主键校验任务、 数据行数通过率校验任务、 表分析任务、 数据增全量转换任务、 分区表表分析任务中的至少 一个。权　利　要　求　书 1/1 页 2 CN 115328624 A 2基于配置的触发式任务调度装 置 技术领域 [0001]本发明涉及数据处 理技术领域， 尤其涉及一种基于配置的触发式任务调度装置 。 背景技术 [0002]ETL(extr act‑transform ‑load， 抽取 ‑转换‑加载)是用来描述数据从源端经过抽 取、 转换、 加载到目的端的过程。 大型企业的后线仓库类产品通常会采集各个上游业务系统 的数据作为自己系统的数据来源。 常见 的传统数据传输方式通常为文本， 或者使用其他异 构数据源导入导出工具将不同种类的数据存储在新的存储介质。 为此通常需要进 行相关的 ETL过程， 将上游数据转 化为可以在仓库类产品使用的对应数据。 [0003]目前现有方案中大多使用Apache  Oozie工作流调度系统、 airflow工作流平台、 dolpthin  schedule可视化的分布式大数据工作流任务调度系统等大数据任务调度中间 件， 结合大数据开发引擎及ETL加 工工具完成相关ETL任务的开发， 例如使用异构数据源导 入工具完成数据转换数据 表的过程， 然而此过程一方面通常需要由任务创建对象进行人工 编代码以自行完成相关etl任务的开发， 且对于不同的应用场景需要编写不同的代码， 在 etl任务需求发生变化时， 同样也需要对代码进行更新等操作， 另一方面如dat ax离线数据 同步工具虽然提供了丰富的异构数据源数据抽取功能， 但对于Hive这种无主键的数据库， 无法自动完成数据的更新， 数据质量校验等功能， 因此使用datax需要另外设计完整的任务 调度流程， 进而导致操作繁琐， 效率低， 影响业 务处理， 且还增大了开发成本及时间。 发明内容 [0004]本发明提供一种基于配置的触发式任务调度装置， 用以解决现有技术中需要人工 进行相关ETL任务的代码开发， 导致操作繁琐， 效率低， 影响业务处理， 且还增大了开 发成本 及时间的缺陷， 实现提供一种可以适配多种业务场景和需求， 让业务自己定义流程， 进而减 小开发成本及时间的基于配置的触发式任务调度装置 。 [0005]本发明提供一种基于配置的触发式任务调度装置， 包括： 驱动模块、 ETL任务编辑 模块、 任务处 理模块及流 程控制轮询模块； [0006]所述驱动模块用于记录上游文本上传至HDFS分布式文件系统过程中的文本状态 参数； [0007]所述ETL任务编辑模块用于生成前端界面， 以通过所述前端界面编辑或查询表加 工配置信息； [0008]所述任务处理模块用于根据所述表加工配置信息完成至少一个表加工任务的处 理， 并记录各 所述表加工任务对应的表处 理状态信息； [0009]所述流程控制轮询模块用于在基于所述文本状态参数监听到进入表加工任务的 情况下， 驱动所述任务处理模块完成至少一个表加工任务的处理， 并监听各所述表加工任 务的状态参数， 以根据所述状态参数进行表加工任务调度。 [0010]根据本发明提供的基于配置的触发式任务调度装置， 所述流程控制轮询模块包括说　明　书 1/6 页 3 CN 115328624 A 3