(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210173702.4 (22)申请日 2022.02.24 (71)申请人 北京思特奇信息技 术股份有限公司 地址 100086 北京市海淀区中关村南大街6 号14层 (72)发明人 肖燕珍　 (74)专利代理 机构 北京汇信合知识产权代理有 限公司 1 1335 专利代理师 王维新 (51)Int.Cl. G06F 9/54(2006.01) G06F 9/451(2018.01) G06F 9/445(2018.01) (54)发明名称 一种基于flink自定义sink的数据处理及推 送方法及系统 (57)摘要 本发明公开了一种基于flink自定义 sink的 数据处理及推送方法及系统， 属于数据处理技术 领域。 本发明方法， 包括： 对flink启动命令中指 定基本信息； 在作业列表页面启动时， 根据redi s 的值， 判断当前作业对应的主题是否已经启动了 作业； 若没有启动作业则发送flink启动命令并 启动作业， 新增接数主题和表的关系到redi s中； 若已经启动作业， 则只新增接数主题和表的关系 到redis； 当启动作业过程中对应的消息经过 flink启动命令的计算逻辑时， 会根据redi s中作 业对应的表的json内容， 确定对应的消息存储的 位置； 在作业列表页面停用时， 若redi s中接数主 题对应的表只剩下当前作业对应的表， 则执行 yarn application ‑kill命令并关闭相应的作 业， 删除redi s中接数主题和表的关系。 本发明减 少了资源的消耗， 以及运维 成本。 权利要求书1页 说明书4页 附图1页 CN 114661491 A 2022.06.24 CN 114661491 A 1.一种基于fl ink自定义si nk的数据处 理及推送方法， 所述方法包括： 对flink启动命令中指定基本信息； 在作业列表页面启动时， 根据redis的值， 判断当前作 业对应的主题是否已经启动了作 业； 若没有启动作 业则发送flink启动命令 并启动作 业， 新增接数主题和表的关系到redis 中； 若已经启动作业， 则只新增接数主题和表的关系到redis； 当启动作 业过程中对应的消息经过 flink启动命令的计算逻辑时， 会根据redis中作 业 对应的表的jso n内容， 确定对应的消息存 储的位置； 在作业列表页面停用时， 若redis中接数主题对应的表只剩下当前作业对应的表， 则执 行yarn application‑kill命令并关闭相应的作业， 删除redis中接数主题和表的关系。 2.根据权利要求1所述的方法， 所述基本信 息包括： 作业基本信 息， 输入适配器信 息， 输 出适配器信息。 3.根据权利 要求2所述的方法， 所述输入适配器信息， 包括： flink的输入流source对应 的kafka的相关信息 。 4.根据权利 要求2所述的方法， 所述输出适配器的信息， 包括： 启动flink的三种自定义 sink需要的信息 。 5.一种基于fl ink自定义si nk的数据处 理及推送系统， 所述系统包括： 信息指定模块， 对fl ink启动命令中指定基本信息； 作业列表启动单元， 在作业列表页面启动时， 根据redis的值， 判断当前作业对应的主 题是否已经启动了作业； 若没有启动作业则发送flink启动命令并启动作业， 新增接数主题 和表的关系到redis中； 若已经启动作业， 则只新增接数主题和表的关系到redis； 当启动作 业过程中对应的消息经过flink启 动命令的计算逻辑时， 会根据redis中作业对应的表的 json内容， 确定对应的消息存 储的位置； 作业列表停用单元， 在作业列表页面停用时， 若redis中接数主题对应的表只剩下当前 作业对应的表， 则执行yarn  application ‑kill命令并关闭相应的作业， 删除redis中接数 主题和表的关系。 6.根据权利要求5所述的系统， 所述基本信 息包括： 作业基本信 息， 输入适配器信 息， 输 出适配器信息。 7.根据权利 要求6所述的系统， 所述输入适配器信息， 包括： flink的输入流source对应 的kafka的相关信息 。 8.根据权利 要求6所述的系统， 所述输出适配器的信息， 包括： 启动flink的三种自定义 sink需要的信息 。权　利　要　求　书 1/1 页 2 CN 114661491 A 2一种基于 flink自定义sink的数据处理及推送方 法及系统 技术领域 [0001]本发明涉及数据处理技术领域， 并且更具体地， 涉及一种基于flink自定义sink的 数据处理及推送方法及系统。 背景技术 [0002]为了实现文本推送， 将实时接收的数据按照客户的规范和格式进行实时推送到指 定的ftp， sftp服务器和kafka集群。 并实现kafka主题灵活配置， 为消费用户提供指定主题 和消费组。 如果前期配置的组和主题不满足新的用户消费要求， 可以在不影响kafka集群的 情况下， 通过页面修改配置满足需求。 基于Flink等大数据组件进行实时数据采集场景增 加， Flink官方提供的si nk服务满足不了我们的需求， 此时可以需通过自定义si nk实现。 [0003]Flink官方提供的sink服务满足不了 我们的需求， 如某一个需求是需要根据消息 中的地市编码和时间确定输出到hdfssink中的目录， 官方提供的只能一个主题里的所有消 息一个路径， 无法实现实际场景需求。 发明内容 [0004]针对上述问题， 本 发明提供了一种基于flink自定义sink的数据处理及 推送方法， 包括： [0005]对flink启动命令中指定基本信息； [0006]在作业列表页面启动时， 根据redis的值， 判断当前作业对应的主题是否已经启动 了作业； [0007]若没有启动作业则发送flink启动命令并启动作业， 新增接数主题和表的关系到 redis中； [0008]若已经启动作业， 则只新增接数主题和表的关系到redis； [0009]当启动作业过程中对应的消息经过flink启动命令的计算逻辑时， 会根据redis中 作业对应的表的jso n内容， 确定对应的消息存 储的位置； [0010]在作业列表页面停用时， 若r edis中接数主题对应的表只剩下当前作业对应的表， 则执行yarn  application ‑kill命令并关闭相应的作业， 删除redis中接数主题和表的关 系。 [0011]可选的， 基本信息包括： 作业基本信息， 输入适配 器信息， 输出适配 器信息。 [0012]可选的， 输入适配 器信息， 包括： fl ink的输入流source对应的kafka的相关信息 。 [0013]可选的， 输出适配 器的信息， 包括： 启动fl ink的三种自定义si nk需要的信息 。 [0014]本发明还提出了一种基于fl ink自定义si nk的数据处 理及推送系统， 包括： [0015]信息指定模块， 对fl ink启动命令中指定基本信息； [0016]作业列表启动单元， 在作业列表页面启动时， 根据redis的值， 判断当前作业对应 的主题是否已经启动了作业； 若没有启动作业则发送flink启动命令并启动作业， 新增接数 主题和表的关系到redis中； 若已经启动作业， 则只新增接数主题和表的关系到redis； 当启说　明　书 1/4 页 3 CN 114661491 A 3