(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011500.6 (22)申请日 2022.08.23 (71)申请人 济南超级计算中心有限公司 地址 250000 山东省济南市自由贸易试验 区济南片区经十东路28666号济南超 算中心科技园2号楼5层516 -1室 (72)发明人 刘辉　边卓　陈彦言　徐希豪　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06F 9/54(2006.01) G06F 16/25(2019.01) (54)发明名称 一种面向超算集群调度的通用作业收集方 法及中间件 (57)摘要 本发明提出了一种面向超算集群调度的通 用作业收集方法及中间件， 涉及集群调度技术领 域,用于解决不同调度系统数据接口不兼容的问 题以及同一调度系统不同版本数据接口不兼容 的问题， 该方法包括： 采用主动收集和被动收集 两种模式获取各个超算集群调度系统的作业信 息； 对获取的作业信息进行解析， 生成结构化数 据； 将生成的结构化数据存储在不同的用户介质 中； 本发明采用部分策略模式、 适配器模式的思 想， 遵守编码的五大设计原则(单一职责原则、 开 闭原则、 里氏替换原则、 接口分离原则、 依赖反转 原则)， 以一种非侵入性、 可拔插的形式， 在不修 改S l urm或其他调度系 统本身代码的前提下， 保证旧有集群的稳定性、 健壮性。 权利要求书1页 说明书4页 附图3页 CN 115454665 A 2022.12.09 CN 115454665 A 1.一种面向超算 集群调度的通用作业收集方法， 其特 征在于， 包括： 采用主动收集和被动收集两种模式获取 各个超算 集群调度系统的作业信息； 对获取的作业信息进行解析， 生成结构化数据； 将生成的结构化数据存 储在不同的用户介质中。 2.如权利要求1所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 采用 部分策略模式+适配器模式， 面向接口编程， 为不同超算集群调度系统定义各自的收集器， 获取各个超算 集群调度系统的作业信息时， 适配不同的收集器进行作业信息收集。 3.如权利要求2所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 所述 主动收集， 通过监控调度系统作业变化的监控器， 将发生变化的作业信息主动推送到 收集 器中。 4.如权利要求2所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 所述 被动收集， 通过定时器设置 定时任务的方式， 收集各个超算 集群调度系统的作业信息 。 5.如权利要求1所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 获取 的作业信息， 包括结构化数据和非机构化数据。 6.如权利要求1所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 对获 取的作业信息进行解析， 是将非结构化数据， 解析成符合存储器进行存储和更新的结构化 数据。 7.如权利要求1所述的一种面向超算集群调度的通用作业收集方法， 其特征在于， 所述 用户介质， 包括搜索引擎、 数据库、 文件。 8.一种面向超算集群调度的通用作业收集中间件， 其特征在于， 包括收集器、 解析器和 存储器； 收集器， 被配置为： 采用主动收集和被动收集两种模式获取各个超算集群调度系统的 作业信息； 解析器， 被 配置为： 对获取的作业信息进行解析， 生成结构化数据； 存储器， 被配置为： 将生成的结构化数据存 储在不同的用户介质中。 9.如权利要求8所述的一种面向超算集群调度的通用作业收集中间件， 其特征在于， 以 一种非侵入性、 可拔插的形式来实现。 10.如权利要求8所述的一种面向超算集群调度的通用作业收集中间件， 其特征在于， 还包括扩展器， 需二次开发时， 只需要实现扩展器中的通用接口， 并将其注入中间件中。权　利　要　求　书 1/1 页 2 CN 115454665 A 2一种面向超算 集群调度的通用作业收集方 法及中间件 技术领域 [0001]本发明属于集群调度技术领域， 尤其涉及 一种面向超算集群调度的通用作业收集 方法及中间件。 背景技术 [0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息， 不必然构成在先技 术。 [0003]当前， 各超算集群调度未能形成统一的规范， 市面上存在多个调度系统， 例如 Slurm、 PBS、 LSF等多个开源调度系统； 以上调度系统面向不同领域、 不同产品， 都会自己设 计相应的作业查询接口， 或者持久化存储方式， 因此各调 度系统的数据结构不一致、 存储的 形式不一致， 而且采用异地存 储。 [0004]对于用户以及超算管理人员来说， 想查询不 同调度系统的个人作业非常繁琐， 需 要登录不同的调度平台或者系统查询； 甚至有些调度系统不会提供相应的接口， 或者只支 持单一的命令行方式查询作业， 这无异增加了用户的学习成本以及 超算集群管理人员运 维 成本； 另一方面， 异地式的数据存 储， 难以进行一系列的业 务统计。 [0005]即使是同一超算集群调度系统， 随着版本的更迭以及bug的修复， 不同版本之间也 可能存在不兼容性； 例如已知slurm调度系统， 从20版本开始支持api接口， 如果集群运行的 是slurm20 之前的版本， 只能通过命令行的方式获取作业信息； 超算集群用户及管 理人员难 以从宏观上把握作业信息， 不仅给用户增加使用难度， 而且还会增加运维成本。 因此， 对灵 活可配置的中心化作业收集的需求十分 迫切， 需要一种完 善、 高效的作业信息收集方案 。 发明内容 [0006]为克服上述现有技术的不足， 本发明提供了一种面向超算集群调度的通用作业收 集方法及中间件， 采用部分策略模式、 适配器模式的思想， 遵守编码的五大设计原则(单一 职责原则、 开闭原则、 里氏替换原则、 接口分离原则、 依赖反转原则)， 以一种非侵入性、 可拔 插的形式， 在不修改Slurm或其他调度系统本身代码的前提下， 保证旧有集群的稳定性、 健 壮性， 完善或者解决不同调 度系统数据接口不兼容的问题以及同一调 度系统不同版本数据 接口不兼容的问题。 [0007]为实现上述目的， 本发明的一个或多个实施例提供了如下技 术方案： [0008]本发明第一方面 提供了一种面向超算 集群调度的通用作业收集方法； [0009]一种面向超算 集群调度的通用作业收集方法， 包括： [0010]采用主动收集和被动收集两种模式获取 各个超算 集群调度系统的作业信息； [0011]对获取的作业信息进行解析， 生成结构化数据； [0012]将生成的结构化数据存 储在不同的用户介质中。 [0013]进一步的， 采用部分策略模式+适配器模式， 面向接口编程， 为不同超算集群调度 系统定义各自的收集器， 获取各个超算集群调度系统的作业信息时， 适配不同的收集器进说　明　书 1/4 页 3 CN 115454665 A 3