(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912242.2 (22)申请日 2022.07.29 (71)申请人 浙江网安信创电子技 术有限公司 地址 315000 浙江省宁波市海曙区丽园南 路501号609-611/613-615室 (72)发明人 苗洪志　林泓沂　彭湘豫　谢作樟　 王淳　 (74)专利代理 机构 杭州奇炬知识产权代理事务 所(特殊普通 合伙) 33393 专利代理师 贺心韬 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) G06F 16/26(2019.01) (54)发明名称 一种基于Flink的可视化作业 生成解决方法 (57)摘要 本发明公开了一种基于F  l i nk的可视化 作业生成解决方法， 具体涉及大数据领域。 本发 明可直观的开发并展示数据处理流程； 采用了画 布的处理模式， 可以更灵活的生成数据处理作 业； 它主要包括了参数的属性， 组件， 组件实现工 厂和可视化作业画布四部分； 其中组件作为整套 方案的核心部分， 包含了组件信息， 参数的属性 列表等配置； 前端会根据组件信息判定组件的连 线规则， 并根据参数的属性列表， 初始化组件卡 片内的参数样式。 组件对应的数据处理逻辑， 在 组件的实现工厂中完成。 权利要求书1页 说明书6页 附图3页 CN 115328908 A 2022.11.11 CN 115328908 A 1.一种基于Flink的可视化作 业生成解决方法， 其特征在于： 包括参数的属性、 组件、 组 件实现工厂和可视化作业画布四部 分， 设计了一套以组件为核心的可视化作业生成解决方 案； 组件包含了组件信息和参数的属性列表信息； 组件对应的组件信息中， 包含且不仅限于当前组件在页面上的具体展现形式、 展现位 置、 组件类型和数据类型； 组件类型有环境类组件和操作类组件两种； 组件信息中的组件类型， 设置 了组件的连线规则； 组件对应的参数的属性列表中， 包含了组件卡片内的参数样式， 前端根据参数的属性 列表进行初始化， 会生成对应的表单； 组件对应的具体实现， 在其对应的组件实现工厂完成。 2.根据权利要求1所述的一种基于Flink的可视化作业生成解决方法， 其特征在于： 所 述组件的连线规则设置为Source类型 组件作为DAG的起点， 不能有组件接入； Sink类型 组件 作为DAG的终点， 不能有组件输出。 3.根据权利要求1所述的一种基于Flink的可视化作业生成解决方法， 其特征在于： 根 据组件对应的参数的属性列表中的参数， 可以设置要处 理的数据以及数据的处 理方式。 4.根据权利要求1所述的一种基于Flink的可视化作业生成解决方法， 其特征在于： 所 述操作类组件又 可拆分为Source， Transform， Si nk三大类。权　利　要　求　书 1/1 页 2 CN 115328908 A 2一种基于Flink的可视化作业生成 解决方法 技术领域 [0001]本发明涉及大数据技术领域， 更具体地说， 本 发明涉及一种基于Flink的可视化作 业生成解决方法。 背景技术 [0002]随着大数据的发展， 数据仓库的建 设已经作为大中型企业的必经之 路。 [0003]数据仓库(Data  Warehouse)是伴随着企业信息化发展起来的， 在企业信息化的过 程中， 随着信息化工具的升级和新工具 的应用， 数据量变得越来越大， 数据格式越来越多， 决策要求越来越苛刻。 出于企业的分析性报告和决策支持目的而创建数仓(数仓： 存放数据 的仓库， 它集合了各个业务系统的数据。 从逻辑上理解， 数据库和数仓没有区别， 都是通过 数据库软件实现存放数据的地方， 只不过从数据量来说， 数据仓库要比数据库更庞大。 他们 最主要的区别在于， 传统事务型数据库如MySQL用于做联机事务处理(OLTP)， 例如交易事件 的发生等； 而数据仓库主要用于联机分析处理(OLAP)， 例如出报表等)， 对多样的业务数据 进行筛选与整合。 数据仓库通过从不同来源收集和管理数据， 最终的输出用于企业的数据 分析、 数据挖掘、 数据报表等方向。 它 为企业提供一定的BI(商业智能)能力， 指导业务流程 改进、 监视时间、 成本、 质量以及控制。 它是技术和组件的混合体， 有助于战略性地使用数 据。 [0004]数据仓库有两个环节： 数据仓库的构建与数据仓库的应用。 早期数据仓库构建主 要指的是把 企业的业务数据库如ERP、 CRM、 S CM等数据按照决策分析的要求建模并汇总到数 据仓库引擎中， 其应用以报表为主， 目的是支持管理层和业务人员决策(中长期策略性决 策)。 随着业务和环 境的发展， 这两方面 都在发生着剧烈变化。 随着IT技术走向互联网、 移动 化， 数据源变得越来越丰富， 在原来业务数据库的基础上出现了非结构化数据， 比如网站 log， IoT设备数据， APP埋点数据等， 这些数据量比以往结构化的数据大了几个量级， 对ETL 过程、 存储都提出了更高的要求。 [0005]互联网的在线特性也将业务需求推向了实时化， 随时根据当前客户行为而调整策 略变得越来越常见， 比如大促过程中库存管理， 运营管理等(即既有中远期策略型， 也有短 期操作型)； 同时公司业务互联网化之后导致同时服务的客户剧增， 有 些情况人工难以完全 处理， 这就需要机器自动决策， 比如欺诈检测 和用户审核。 [0006]数据仓库是一个过程而不是一个项 目。 数据仓库系统是一个信息提供平台， 他从 业务处理系统获得数据， 主要以星型模型和雪花模型进行数据 组织， 并为用户提供各种手 段从数据中获取信息和知识。 从功能结构划分， 数据仓库系统至少应该包含数据获取(Data   Acquisiti on)、 数据存 储(Data Storage)、 数据访问(Data  Access)三个关键 部分。 [0007]数据仓库一般针对某些主题的历史数据进行分析， 支持管理决策， 又被称为联机 分析处理OLAP(On ‑Line Analytical Processing)。 建立 OLAP应用之前， 我们要想办法把各 个独立系统的数据抽取出来， 经过一定的转换和过滤， 存放到一个集中的地方， 成为数据仓 库。 这个抽取， 转换， 加载的过程叫ETL(Extract， Transform， Load)， 目的是将 企业中分散、说　明　书 1/6 页 3 CN 115328908 A 3