(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210267788.7 (22)申请日 2022.03.17 (71)申请人 杭州欧若数网科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道时代未来之城5幢22 02、 2203、 2204、 2205、 2206、 2207、 2208 (72)发明人 岳通　王玉珏　吴敏　叶小萌　 (74)专利代理 机构 杭州创智卓英知识产权代理 事务所(普通 合伙) 33324 专利代理师 季健康 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) (54)发明名称 图数据库中集群间数据实时同步的方法、 系 统和介质 (57)摘要 本申请涉及一种图数据库中集群间数据实 时同步的方法、 系统和介质， 其中， 该方法包括： 通过在主集群上启动监听器节 点， 创建学习者副 本并加入主集群节点的数据分片所在的raft组 中； 通过监听器节点实时读取并处理主集群节点 的变更数据日志， 获取对应的图空间信息和从集 群上的管道节 点的地址， 将要同步的变更数据日 志对应的图空间数据发送到管道节 点， 并记录日 志ID； 通过管道节点将图空间数据处理后发送到 从集群节点， 基于raft 的一致性原理， 完成图空 间数据在从集群的数据分片间的同步。 通过本申 请， 解决了如何在图数据库中保证数据可靠性和 可用性的问题， 有效地保证了集群间数据的一致 性。 权利要求书2页 说明书9页 附图3页 CN 114661818 A 2022.06.24 CN 114661818 A 1.一种图数据库中集群间数据实时同步的方法， 其特 征在于， 所述方法包括： 在主集群上启动 监听器节点， 创建学习者副本并加入主集群节点中对应数据分片所在 的raft组中； 通过所述监 听器节点实时读取并处理所述主集群节点的变更数据日志， 获取对应的图 空间信息和从集群上的管道节点的地址， 将要同步的变更数据日志对应的图空间数据发送 到所述管道 节点， 并记录日志ID； 通过所述管道 节点将所述图空间数据处 理后发送到从集群节点； 基于raft的一 致性原理， 完成所述图空间数据在所述从集群的数据分片间的同步。 2.根据权利要求1所述的方法， 其特征在于， 所述主集群节点包括元数据 管理节点和存 储节点； 在主集群上启动 监听器节点， 创建学习者副本并加入主集群节点中对应数据分片所在 的raft组中包括： 若所述主集群节点为元数据管理节点， 则在主集群上启动元监听器节点， 创建学习者 副本并加入所述元数据管理节点的数据分片所在的raft组中， 其中， 所述数据分片存储图 空间的元 数据； 若所述主集群节点为存储节点， 则在主集群上启动存储监听器节点， 创建学习者副本 并加入所述存储节点的数据分片所在的raft组中， 其中， 所述数据分片存储图空间的属性 数据。 3.根据权利要求1或2所述的方法， 其特 征在于， 若所述主集群节点 为元数据管理节点； 通过所述监 听器节点实时读取并处理所述主集群节点的变更数据日志， 获取对应的图 空间信息和从集群上的管道节点的地址， 将要同步的变更数据日志对应的图空间数据发送 到所述管道 节点， 并记录日志ID包括： 通过元监听器节点中的学习者副本实时读取所述元数据管理节点中数据分片的变更 数据日志， 判断所述变更数据日志是否为标签数据、 边数据和索引数据的日志， 若是， 则获 取所述变更数据日志对应的图空间ID， 将所述变更数据日志写入所述图空间ID下的日志文 件中； 当所述变更数据日志读取处理完后， 获取对应要 同步的从集群上的管道节点的地址， 遍历所述图空间ID对应的目录， 将要同步的所述目录下日志文件对应的图空间的元数据发 送到所述管道 节点， 并记录最后的日志ID。 4.根据权利要求1或2所述的方法， 其特 征在于， 若所述主集群节点 为存储节点； 通过所述监 听器节点实时读取并处理所述主集群节点的变更数据日志， 获取对应的图 空间信息和从集群上的管道节点的地址， 将要同步的变更数据日志对应的图空间数据发送 到所述管道 节点， 并记录日志ID包括： 通过存储监听器节点中的学习者副本实时读取所述存储节点中数据分片的变更数据 日志， 将存在的变更 数据日志加入到日志集 合中； 当所述变更数据日志读取处理完后， 获取对应要 同步的从集群上的管道节点的地址， 将要同步的所述日志 集合中日志对应的图空间的属性数据发送到所述管道节点， 并记录最 后的日志ID。 5.根据权利要求1所述的方法， 其特征在于， 在通过所述管道节点将所述图空间数据处权　利　要　求　书 1/2 页 2 CN 114661818 A 2理后发送到从集群节点之前， 所述方法还 包括： 通过所述管道节点接收所述图空间数据， 根据 所述从集群上要同步的图空间ID和所述 日志ID， 判断所述图空间数据的接收是否合法。 6.根据权利要求1所述的方法， 其特征在于， 通过所述管道节点将所述图空间数据处理 后发送到从集群节点包括： 通过所述管道节点遍历得到所述从集群上要同步的图空间目录， 所述图空间目录 中每 个图空间生成一个任务 放到任务管理队列中； 在任务的执行中， 根据所述任务对应的数据分片的信息， 生成多个子任务， 其中， 一个 数据分片对应一个子任务； 根据并行度， 并行执行所述子任务， 直到所述任务管理队列中的任务全部执行完成， 即 将所述图空间数据发送到从集群节点。 7.根据权利 要求1或6所述的方法， 其特征在于， 基于raft的一致性原理， 完成所述图空 间数据在所述从集群的数据分片间的同步包括： 在所述从集群的领导者副本 同步完所述 图空间数据后， 基于raft的一致性原理， 通过 所述从集群节点将所述图空间数据同步到与所述领导 者副本同一raft组的跟随者副本中。 8.根据权利要求1所述的方法， 其特征在于， 图空间为主集群与从集群间数据同步的基 本单位， 需要 进行数据同步的图空间在所述主集群中可读可写， 在所述从集群中只读。 9.一种图数据库中集群间数据实时同步的系统， 其特征在于， 所述系统包括主集群模 块和从集群模块； 所述主集群模块用于在主集群上启动 监听器节点， 创建学习者副本并加入主集群节点 中对应数据分片所在的raft组中； 所述主集群模块用于通过所述监听器节点实时读取并处理所述主集群节点的变更数 据日志， 获取对应的图空间信息和从集群上 的管道节点的地址， 将要同步的变更数据日志 对应的图空间数据发送到所述管道 节点， 并记录日志ID； 所述从集群模块用于通过所述管道节点将所述图空间数据处理后发送到从集群节点； 基于raft的一 致性原理， 完成所述图空间数据在所述从集群的数据分片间的同步。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至8中任一项所述的图数据库中集群间数据实时同步的方法。权　利　要　求　书 2/2 页 3 CN 114661818 A 3