(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210673538.3 (22)申请日 2022.06.14 (71)申请人 九有技术(深圳)有限公司 地址 518000 广东省深圳市南 山区粤海街 道麻岭社区高新中二道2号深圳软件 园3栋一单元213 (72)发明人 曾焱　方跃坚　何震瀛　苗旭成　 刘兵　 (74)专利代理 机构 深圳市沈 合专利代理事务所 (特殊普通 合伙) 44373 专利代理师 文闻 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/2453(2019.01)G06F 16/2458(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 支持灵活动态分片的分布式数据库架构及 其实现方法 (57)摘要 本发明提出一种支持灵活动态分片的分布 式数据库架构及其实现方法， 分布式数据库包 括： (1)数据库表分为大表和小表； 小表数据存储 在统一计算与小表存储层； 大表数据存储在分布 式大表存储层； (3)统一计算与小表存储层主处 理节点模块包括小表存储管 理器、 分布式大表存 储管理器、 全局事务管理器、 日志合并及逻辑复 制管理器、 动态分片管理器、 SQL计算器、 高可用 管理器、 热分片管理器等模块。 (4)数据库对不同 节点组上字段均相同的表设置灵活的分片方式； (5)数据库支持表的动态分片， 包括支持表的存 储层和分片策略在数据库运行期间动态改变， 以 及支持副本节点组的动态增减。 本发明如此设 计， 提高了分布式数据库多种复杂查询的效率及 其灵活性。 权利要求书7页 说明书15页 附图5页 CN 114925073 A 2022.08.19 CN 114925073 A 1.一种支持灵活动态分片的分布式数据库架构， 其特 征在于： 分布式数据库分为统一计算与小表存 储层、 分布式大表存 储层； 数据库表分为大表和小表； 所述小表数据存 储在所述统一计算与小表存 储层； 所述大表数据存 储在所述分布式大表存 储层； 所述统一计算与小表存储层主处理节点功能模块包括小表存储管理器、 分布式大表存 储管理器、 全局事务管理器、 日志合并及逻辑复制管理器、 动态分片管理器、 SQL计算器、 高 可用管理器、 热分片管理器模块。 2.根据权利要求1所述的支持灵活动态分片的分布式数据库架构， 其特 征在于： 数据库表可设置为大表或小表； 大表指表的数据量大， 而 小表指表的数据量相对小； 表的设置支持以下设置方式： (1)手动设置； (2)通过一定的规则自动设置； 所述小表数据存储在所述统一计算与小表存储层； 所述大表数据存储在所述分布式大 表存储层。 3.根据权利要求1所述的支持灵活动态分片的分布式数据库架构， 其特 征在于： 在所述统一计算与小表存储层主处理节点中， 由所述小表存储管理器管理所述统一计 算与小表存储层的节 点和数据； 由所述分布式大表存储管理器管理所述分布式大表存储层 的节点和数据； 所述小表存储管理器和所述分布式大表存储管理器均 支持存储节点的动态 增减。 4.根据权利要求1所述的支持灵活动态分片的分布式数据库架构， 其特 征在于： 分布式数据库系统节点分为主节点和副本节点； 所述主节点包括统一计算与小表存储层的主处理节点和分布式大表存储层的主存储 节点； 所述副本节点包括统一计算与小表存储层的副本存储节点和分布式大表存储层的副 本存储节点； 所述统一计算与小表存储层的主处理节点和所述统一计算与小表存储层的副本存储 节点均存储小表数据； 每个小表的一份完整的数据存储在所述统一计算与小表存储层的单 个节点上； 所述分布式大表存储层的主存储节点和所述分布式大表存储层的副本存储节点都存 储大表数据； 每 个大表的一份完整数据存 储在分布式大表存 储层的多个节点； 对节点分组， 组成节点组； 所述主处理节点和所有主存储节点组成一组， 称为主节点 组； 若干副本节点组成一组， 称为副本节点组； 一个副本节 点组包含统一计算与小表存储层 的一个副本存 储节点和分布式大表存 储层的若干副本存 储节点； 一个节点组存 储数据库全部表的完整数据； 主节点组上的表称为主表； 副本节点组的组个数至少为2个； 一个节点组的分布式大表存 储层的节点数至少为2个。 5.根据权利要求1所述的支持灵活动态分片的分布式数据库架构， 其特 征在于： 在所述统一计算与小表存储层主处理节点中， 所述全局事务管理器对主节点组 的多个 节点的事务进行全局管理； 所述全局事务管理器支持事务的快照隔离， 保证多节点分布式 事务的一 致性。权　利　要　求　书 1/7 页 2 CN 114925073 A 26.根据权利要求1所述的支持灵活动态分片的分布式数据库架构， 其特 征在于： 在所述统一计算与小表存储层主处理节点中， 所述SQL计算器处理数据库所有SQL计 算， 根据SQL任务， 从统一计算与小表存储层节点 或分布式大表存储层节点 获取相关数据并 进行处理。 7.一种实现上述权利1 ‑6中任一一种支持灵活动态分片的分布式数据库的方法， 其特 征在于： 数据库对不同节点组上字段均相同的表设置 灵活的分片方式； 数据库支持表的动态分片， 包括支持表的存储层和分片策略在数据库运行期间动态改 变， 以及支持副本节点组的动态增减。 8.根据权利要求7 所述的支持灵活动态分片的分布式数据库实现方法， 其特 征在于： 对所述主节点组和副本节点组上字段均相同的表， 设置灵活的分片方式， 包括以下情 况： (1)一个所述小表的数据存储在所述统一计算与小表存储层； 对所述全部节点组上字 段均相同的小表， 可以设置为不分片； 或者对所述全部节点组字段相同的小表， 任意两个小 表之间， 可设置为 不同的分片策略， 或设置为相同的分片策略； (2)一个所述大表的数据存储在所述分布式大表存储层； 对所述全部节点组上字段均 相同的大表， 任意两个大表之间， 可设置为 不同的分片策略， 或设置为相同的分片策略； 所述分片策略设置包括分片键和分片算法的设置； 所述分片键或所述分片算法不同， 则所述分片策略不同； 所述一种分片策略是针对某种特定的查询优化设置； 分片策略设置原则是使得对特定 的查询， 获得查询结果在表分片的数据量最少， 降低数据聚合的时间复杂度， 提升数据查询 效率。 9.根据权利要求7所述的支持灵活动态分片的分布式数据库架构及其实现方法， 其特 征在于： 所述主节点和所述副本节点之间的数据同步采用逻辑复制方式， 由所述日志及所述逻 辑复制管理器来管理实施； 所述日志合并及逻辑复制管理器提取多个主节点的更新日志并进行 日志合并， 保证合 并日志的快照一致性， 以合并的日志创建统一的更新日志源， 作为副本节点执行逻辑复制 更新数据源， 并向每 个副本节点发送逻辑复制更新消息； 每个副本节点从统一的更新日志源获取本节点对应的更新消息， 执 行相应的表更新。 10.根据权利要求7 所述的支持灵活动态分片的分布式数据库实现方法， 其特 征在于： 数据库支持表的动态分片， 包括所述副本节点组 的表的分片方式可在数据库运行间动 态改变， 情形之一为所述副本节点组的一个表的一份副本由一种分片方式改为另一种分片 方式， 该表副本仍然存储在所述统一计算与小表存储层或所述分布式大表存储层， 包括以 下情形： (1)一个表 的一份副本存储在所述统一计算与小表存储层， 由不分片改为一种新的分 片策略， 副本仍存 储在所述统一计算与小表存 储层； (2)一个表 的一份副本存储在所述统一计算与小表存储层， 由一种分片策略改为一种 新的分片策略， 副本仍存 储在所述统一计算与小表存 储层；权　利　要　求　书 2/7 页 3 CN 114925073 A 3