(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608800.6 (22)申请日 2022.05.31 (71)申请人 以萨技术股份有限公司 地址 266000 山东省青岛市黄岛区灵山 卫 街道办事处灵岩路7 7号 (72)发明人 赵向军　李凡平　王堃　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张萌 (51)Int.Cl. G06F 9/445(2018.01) (54)发明名称 基于Flink的数据自动化处理方法、 装置和 电子设备 (57)摘要 本发明提供了一种基于Flink的数据自动化 处理方法、 装置和电子设备， 涉及数据处理的技 术领域， 该方法应用于网页加载终端， 网页加载 终端包括： web模块、 数据库模块和作业处理模 块； web模块用于与数据库模块进行数据交互； web模块还用于向作业处理模块发送作业指令； 包括： 响应于针对web模块的执行指令， 在数据库 模块中调用与执行指令对应的flink任务配置信 息； 执行指令包括数据处理任务； 基于flink任务 配置信息生成任务配置文件； 利用作业处理模块 启动任务配置文件对应的flink作业， 以完成数 据处理任务。 解决了flink任务中断后， 其余作业 运行阻塞的技术问题， 达到了优化数据处理的技 术效果。 权利要求书1页 说明书7页 附图2页 CN 114816583 A 2022.07.29 CN 114816583 A 1.一种基于Flink的数据自动化处理方法， 其特征在于， 应用于网页加载终端， 所述网 页加载终端包括： web模块、 数据库模块和作业处理模块； 所述web模块用于与所述数据库模 块进行数据交互； 所述web模块还用于向所述作业处 理模块发送作业指令； 所述方法包括： 响应于针对所述web模块的执行指令， 在所述数据库模块中调用与所述执行指令对应 的Flink任务配置信息； 所述执 行指令包括数据处 理任务； 基于所述Fl ink任务配置信息生成任务配置文件； 利用所述作业处理模块启动所述任务配置文件对应的Flink作业， 以完成所述数据处 理任务。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 利用所述 web模块在预加载的网页上构建数据处 理任务； 将所述数据处 理任务的配置信息发送至所述数据库模块并存 储。 3.根据权利要求1所述的方法， 其特征在于， 所述执行指令包括： 数据输入、 数据清洗和 数据输出。 4.根据权利 要求1所述的方法， 其特征在于， 所述Flink任务配置信息包括： source组件 信息和si nk组件信息 。 5.根据权利要求1所述的方法， 其特 征在于， 还 包括： 通过web接口向Fl ink服务器发送所述任务配置文件。 6.根据权利要求5所述的方法， 其特征在于， 所述web接口由所述作业处理模块向所述 web模块请求 生成。 7.一种基于Fl ink的数据自动化处 理装置， 其特 征在于， 包括： 网页加载终端， 用于响应于针对web模块的执行指令， 在数据库模块中调用与所述执行 指令对应的Fl ink任务配置信息； 所述执 行指令包括数据处 理任务； 所述网页加载终端， 还用于基于所述Fl ink任务配置信息生成任务配置文件； 所述网页加载终端， 还用于利用 作业处理模块启动所述任务配置文件对应的Flink作 业， 以完成所述数据处 理任务。 8.根据权利要求7所述的装置， 其特征在于， 所述网页加载终端， 还用于： 利用所述web 模块在预加载的网页上构建数据处理任务； 将所述数据处理任务的配置信息发送至所述数 据库模块并存 储。 9.一种电子设备， 包括存储器、 处理器， 所述存储器中存储有可在所述处理器上运行的 计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现上述权利要求1至6任一 项所述的方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有机器可运 行指令， 所述计算机可运行指令在被处理器调用和运行时， 所述计算机可运行指令促使所 述处理器运行 所述权利要求1至 6任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 114816583 A 2基于Flink的数据自动化处理 方法、 装置和电子 设备 技术领域 [0001]本发明涉及数据处理技术领域， 尤其是涉及一种基于Flink的数据自动化处理方 法、 装置和电子设备。 背景技术 [0002]目前基于数据流Flink 的数据自动化处理方案通常是： 通过 “数据库模块 ”存储用 户在web页面上配置的数据处理任务的信息， 在web页面上点击执行任务时， “web模块”再读 取“数据库模块 ”中存储的“数据源连接信息 ”、“数据处理逻辑 ”、“目标库的连接信息 ”等信 息数据， 然后发送到 “消息队列模块 ”， 最后由一直监听 “消息队列模块 ”的“作业处理模块 ” 读取到这些信息后进行作业处 理， 最终完成数据的自动化处 理。 [0003]在实际应用中， 需要完成的数据处理任务会不断新增， 而传统模式中的 “作业处理 模块”很可能因为某个任务作业的异常或其他原因而导致当前模块中断运行， 从而阻塞其 他任务作业的正常处理。 也就是说， 现有数据处理的技术中存在Flink任务中断后， 其余作 业运行阻塞的技 术问题。 发明内容 [0004]有鉴于此， 本 发明的目的在于提供一种方法、 装置及电子设备， 以缓解上述现有技 术中存在的问题。 [0005]为了实现上述目的， 本发明实施例采用的技 术方案如下： [0006]第一方面， 本 发明实施例提供了一种基于Flink的数据自动化 处理方法， 应用于网 页加载终端， 上述网页加载终端包括： web模块、 数据库模块和作业处理模块； 上述web模块 用于与上述数据库模块进行数据交互； 上述web模块还用于向上述作业处理模块发送作业 指令； 上述方法包括： 响应于针对上述web模块的执行指令， 在上述数据库模块中调用与上 述执行指令对应的flink任务配置信息； 上述执行指令包括数据处理任务； 基于上述flink 任务配置信息生成任务配置文件； 利用上述作业处理模块启动上述任务配置文件对应的 flink作业， 以完成上述数据处 理任务。 [0007]在一些可能的实施方式中， 还包括： 利用上述web模块在预加载的网页上构建数据 处理任务； 将上述数据处 理任务的配置信息发送至上述数据库模块并存 储。 [0008]在一些可能的实施方式 中， 上述执 行指令包括： 数据输入、 数据清洗和数据输出。 [0009]在一些可能 的实施方式中， 上述flink任务配置信息包括： source组件信息和sink 组件信息 。 [0010]在一些可能的实施方式中， 上述方法还包括： 通过web接口向flink服务器发送上 述任务配置文件。 [0011]在一些可能的实施方式中， 上述web接口由上述作业 处理模块向上述web模块请 求 生成。 [0012]第二方面， 本发明实施例提供了一种基于Fl ink的数据自动化处 理装置， 包括：说　明　书 1/7 页 3 CN 114816583 A 3