(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211055551.9 (22)申请日 2022.08.31 (71)申请人 兴业银行股份有限公司 地址 350014 福建省福州市台江区江滨中 大道398号兴业银行 大厦 申请人 兴业数字金融服 务(上海)股份有限 公司 (72)发明人 潘熙文　罗俊　罗煜辉　刘家闰　 王锋　周飞　鲍玲　王良杰　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 祁春倪 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/22(2019.01) (54)发明名称 Impala自动化伸缩的系统、 方法、 介质及设 备 (57)摘要 本发明提供了一种Impala自动化伸缩的系 统、 方法、 介质及设备， 包括： 配置 管理模块： 对工 作空间、 实例和模板进行管理； 应用控制模块： 接 收配置管 理模块提交的信息， 并翻译成容器化平 台可以接受的格式， 对I mpala的各组件进行编排 生成API信息； 容器平台模块： 根据API信息生成 Impala内部组件的实例初始化， 通过监控组件收 集Impala组件资源信息并根据预设配置规则自 动伸缩实例。 本发明通过采用容器化i mpala大数 据计算服务组件， 从而解决了应对高并发大数据 量查询过慢无法自动扩 缩容问题。 权利要求书1页 说明书3页 附图2页 CN 115391427 A 2022.11.25 CN 115391427 A 1.一种Impala自动化伸缩的系统， 其特 征在于， 包括： 配置管理模块： 对工作空间、 实例和模板进行 管理； 应用控制模块： 接收配置管理模块提交 的信息， 并翻译成容器化平台可以接受 的格式， 对Impala的各组件进行编排 生成API信息； 容器平台模块： 根据API信息生成Impala内部组件的实例初始化， 通过监控组件收集 Impala组件资源信息并根据预设配置规则自动伸缩实例。 2.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 所述配置管理模块包 括： 工作空间管 理模块， 为不同租户建立不同的资源隔离空间逻辑规划， 通过Kuber nates接 口创建一个工作空间， 工作空间对应k8s集群中的Namespace命名空间， 并且通过接口打上 标签和污点。 3.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 所述配置管理模块包 括： 实例管理模块， 提供在k8s集群不同工作空间中通过前端或API在指定的工作空间中进 行Impala实例的创建、 变更、 回收以及查询功能。 4.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 所述配置管理模块包 括： 模板管理模块， 保存工作空间管 理模块与实例管理模块的信息， 并将用户所提交的信息 进行封装， 通过接口提交到应用控制模块。 5.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 通过日志收集器收集 各组件的运行日志到日志存 储平台， 并进行审计分析。 6.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 根据应用控制模块提 交的租户信息配置内容启动Impala实例运行到指定节点中， 进行多租户资源隔离， 并监控 Impala集群 状态。 7.根据权利 要求1所述的Impala自动化伸缩的系统， 其特征在于， 所述应用控制模块包 括： 对支持Impala类型的组件进 行定义， 用于资源控制， 并根据配置管 理模块提交的租户生 成权限与资源隔离内容生 成具体的配置文件信息， 最后提交容器平台模块生成Impala集群 并将配置最终写入生成的实例中。 8.一种Impala自动化伸缩的方法， 其特征在于， 采用权利要求1 ‑7中任一项所述的 Impala自动化伸缩的系统， 包括： 步骤1： 对工作空间、 实例和模板进行 管理； 步骤2： 接收配置管理模块提交的信息， 并翻译成容器化平台可以接受的格式， 对 Impala的各组件进行编排 生成API信息； 步骤3： 根据API信息生成Impala内部组件的实例初始化， 通过监控组件收集Impala组 件资源信息并根据预设配置规则自动伸缩实例。 9.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求8所述的方法的步骤。 10.一种Impala自动化伸缩的设备， 其特 征在于， 包括： 控制器； 所述控制器包括权利要求9所述的存储有计算机程序的计算机可读存储介质， 所述计 算机程序被处理器执行时实现权利要求8所述的Impala自动化伸缩的方法的步骤； 或者， 所 述控制器包括权利要求1至7中任一项所述的Impala自动化伸缩的系统。权　利　要　求　书 1/1 页 2 CN 115391427 A 2Impala自动化伸缩的 系统、 方法、 介质及设 备 技术领域 [0001]本发明涉及Impala自动化伸缩技术领域， 具体地， 涉及一种Impala自动化伸缩的 系统、 方法、 介质及设备。 背景技术 [0002]Impala作为主流 的大数据查询组件， 在大数据即席查询、 实时数仓等场景有着广 泛的应用。 但是随着数据量与使用客群的增加， 如何应对高并发访问与租户管理等问题愈 发明显。 [0003]专利文献CN113138976A(申请号： CN202010064306.9)公开了一种提升Impala查询 容量的实现方案， 将从数据源收集， 处理后的数据存储到Hadoop集群中， Impala关联Hadoop 集群， 通过将元数据缓存入Redis中， 在用户首次提交查询请求， SQL引擎创建执行计划时， 从Redis中获取元数据， 反序列化后存入Lrucache中， 后续请求创建执行计划直接从 Lrucache中获取元数据。 该专利主要在于Impala节点的纵向提升， 却不能够在横向节点扩 展方向发挥作用。 发明内容 [0004]针对现有技术中的缺陷， 本发明的目的是提供一种Impala自动化伸 缩的系统、 方 法、 介质及设备。 [0005]根据本发明提供的Impala自动化伸缩的系统， 包括： [0006]配置管理模块： 对工作空间、 实例和模板进行 管理； [0007]应用控制模块： 接收配置管理模块提交的信息， 并翻译成容器化平台可以接受的 格式， 对Impala的各组件进行编排 生成API信息； [0008]容器平台模块： 根据AP I信息生成Impala内部组件的实例初始化， 通过监控组件收 集Impala组件资源信息并根据预设配置规则自动伸缩实例。 [0009]优选的， 所述配置管理模块包括： 工作空间管理模块， 为不同租户建立不同的资源 隔离空间逻辑规划， 通过Kubernates接口创建一个工作空间， 工作空间对应k8s集群中的 Namespace命名空间， 并且通过接口打上 标签和污点。 [0010]优选的， 所述配置管理模块包括： 实例管理模块， 提供在k8s集群不同工作空间中 通过前端或API在指定的工作空间中进行Impala实例的创建、 变更、 回收以及查询功能。 [0011]优选的， 所述配置管理模块包括： 模板管理模块， 保存工作空间管理模块与实例管 理模块的信息， 并将用户所提交的信息进行封装， 通过接口提交到应用控制模块。 [0012]优选的， 通过日志 收集器收集各组件的运行日志到日志存储平台， 并进行审计分 析。 [0013]优选的， 根据应用控制模块提 交的租户信息配置内容启动Impala实例运行到指定 节点中， 进行多租户资源隔离， 并监控Impala集群 状态。 [0014]优选的， 所述应用控制模块包括： 对支持Impala类型的组件进行定义， 用于资源控说　明　书 1/3 页 3 CN 115391427 A 3