(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210314467.8 (22)申请日 2022.03.28 (71)申请人 中国人寿保险股份有限公司 地址 100095 北京市海淀区温泉镇景天路 中国人寿研发中心 (72)发明人 张樱文　马子元　殷莹　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 金含 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/2455(2019.01) G06F 16/23(2019.01) G06F 16/215(2019.01) (54)发明名称 基于ETL的投资数据调度方法及平台 (57)摘要 本申请提供一种基于ETL的投资数据调度方 法及平台， 该方法通过ETL引擎接入数据并对数 据进行清洗抽取核验， 同时调度执行作业计划。 本申请提供的方法能够统一数据对接规范， 使 得 新数据源的接入 可以通过配置信息轻量化实现。 在投资数据调度过程中， 通过ETL引 擎对数据源 的时效性进行监控， 并在作业状态表中实时更新 状态， 为技术人员提供准确的监控信息， 实现作 业计划可配 置可监控可衡量。 权利要求书2页 说明书10页 附图5页 CN 114969174 A 2022.08.30 CN 114969174 A 1.一种基于ETL的投资数据调度方法， 其特征在于， 应用于基于ETL的投资数据调度平 台， 包括： 获取所述ETL的作业计划表中作业计划的作业信息； 响应于确定当前时间晚于所述作业信息中的最早开始时间， 在所述ETL的作业状态表 中写入与所述作业计划关联的状态数据； 根据所述作业信息判断所述作业计划是否需要等待数据到 达， 响应于确定不需要等待数据到达， 将所述状态数据置为等待调度， 并触发作业新建完 成事件； 获取所述ETL的全部节点信息， 响应于确定全部节点中存在可运行节点， 将所述作业计 划分配给 所述可运行节点， 将所述状态数据置为处 理中， 并触发作业 开始事件； 获取所述可运行节点的运行状态， 响应于确定所述运行状态为成功， 将所述状态数据 置为成功， 并触发作业完成事 件。 2.根据权利要求1所述的方法， 其特征在于， 在响应于确定当前时间晚于所述作业信 息 中的最早开始时间之前， 还 包括对所述作业计划进行作业推理； 所述作业推理包括： 响应于确定所述作业信息中包 含的所述作业计划的频率 为日频， 响应于确定所述作业信 息中包含的所述作业计划的计算类型为日频， 每日新建该作业 计划； 响应于确定所述作业信息中包 含的所述作业计划的计算类型为日频交易日， 响应于确定所述作业信 息中包含的所述作业计划的数据源类型为自然日， 每日新建该 作业计划； 响应于确定所述作业信 息中包含的所述作业计划的数据源类型为交易日， 在交易日新 建该作业计划； 响应于确定所述作业信 息中包含的所述作业计划的数据源类型为工作日， 在工作日新 建该作业计划； 响应于确定当前时间为每 个月的最后一天， 新建该作业计划； 响应于确定所述作业信息中包 含的所述作业计划的频率 为月频， 响应于确定所述作业信 息中包含的所述作业计划的计算类型为数据复制， 则每日新建 该作业计划； 响应于确定所述作业信息中包含的所述作业计划的计算类型为月度填充且当前时间 大于预设的最 早开始时间， 新建该作业计划。 3.根据权利要求1所述的方法， 其特 征在于， 还 包括： 响应于确定需要等待数据到达， 将所述状态数据置为等待数据源， 并触发所述作业新 建完成事 件。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 响应于确定所述状态数据为等待数据源， 根据所述状态数据关联的所述作业计划的数 据载体类型查看该作业计划的数据到达情况， 响应于确定数据到达， 将所述状态数据置为 等待调度， 并触发数据到 达事件。 5.根据权利要求4所述的方法， 其特征在于， 所述数据载体类型包括数据库和FTP服务权　利　要　求　书 1/2 页 2 CN 114969174 A 2器， 所述根据所述状态数据关联的所述作业计划的数据载体类型查看该作业计划的数据到 达情况， 包括： 根据所述作业信息判断所述作业计划的数据源， 响应于确定所述数据源为数据库类型， 通过所述数据库查看所述作业计划的数据到达 情况； 响应于确定所述数据源为文件类型， 通过所述FTP服务器查看所述作业计划的数据到 达情况。 6.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 响应于确定数据未到达， 且当前时间晚于所述作业状态表配置的最晚执行时间， 在所 述ETL的作业异常信息表中写入与所述作业计划相关的异常数据， 并触发作业异常事 件。 7.根据权利要求1所述的方法， 其特征在于， 所述作业信息至少包括作业名称、 作业类 型、 计划发起频率、 所述 最早开始时间、 文件后缀信息及数据库。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 响应于确定全部所述节点中不存在所述可运行节点， 将所述作业计划加入等待队列并 等待轮询。 9.根据权利要求1所述的方法， 其特 征在于， 还 包括： 响应于确定所述 运行状态为失败， 将所述状态数据置为失败， 并触发作业完成事 件。 10.一种基于 ETL的投资数据调度平台， 其特 征在于， 包括： ETL引擎， 被 配置为 获取所述ETL引擎的作业计划表中作业计划的作业信息； 响应于确定当前时间晚于所述作业信息中的最早开始时间， 在所述ETL引擎的作业状 态表中写入与所述作业计划关联的状态数据； 根据所述作业信息判断所述作业计划是否需要等待数据到 达， 响应于确定不需要等待数据到达， 将所述状态数据置为等待调度， 并触发作业新建完 成事件； 获取所述ETL引擎的全部节点信息， 响应于确定全部节点中存在可运行节点， 将所述作 业计划分配给 所述可运行节点， 将所述状态数据置为处 理中， 并触发作业 开始事件； 获取所述可运行节点的运行状态， 响应于确定所述运行状态为成功， 将所述状态数据 置为成功， 并触发作业完成事 件； 源数据层， 被 配置为存 储通过所述ETL引擎接入所述平台的全部数据源的源数据； 数据仓库层， 被配置为存储从所述源数据中抽取的通过所述ETL引擎进行清洗检核的 投资数据， 以及存 储通过所述ETL引擎读取的外 部公开市场资 讯数据； 数据应用层， 被配置为存储基于所述投资数据和所述外部公开市场资讯数据通过所述 ETL引擎分析计算得到的报表结果表。权　利　要　求　书 2/2 页 3 CN 114969174 A 3