(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210463064.X (22)申请日 2022.04.28 (71)申请人 上海浦东发展银行股份有限公司 地址 200002 上海市黄浦区中山 东一路12 号 (72)发明人 程雪林　磨柑竹　李小春　魏明丽　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 彭瑶 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/23(2019.01) G06F 16/242(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于增量数据的双阶段数据迁移方法 (57)摘要 本发明涉及一种基于增量数据的双阶段数 据迁移方法， 适用于项目投产前的数据迁移， 包 括： 基准数据处理步骤： 基于原系统导出数据格 式为csv格式的全量数据文件， 并将文件中的字 段与字段之间通过分隔符进行区分； 将处理后的 全量数据文件传输至迁移所在数据库的服务器 后， 采用Oracle  SQLLoader工具将其导到 数据库 中， 作为基准数据； 增量数据处理步骤： 在完成基 准数据处理步骤后的每一天， 由原系统提供增量 数据， 将增量数据传输至迁移数据库所在服务器 上， 并将其与基准数据合并。 与现有技术相比， 本 发明具有降低数据迁移时间、 提高业务连续性水 平等优点。 权利要求书1页 说明书3页 附图1页 CN 114996239 A 2022.09.02 CN 114996239 A 1.一种基于增量数据的双阶段数据迁移方法， 适用于项目投产前的数据迁移， 其特征 在于， 该方法包括： 基准数据处 理步骤： 基于原系统导出数据格式为csv格式的全量数据文件， 并将文件中的字段与字段之间 通过分隔符进行区分； 将处理后的全量数据文件传输至迁移所在数据库的服务器后， 采用 Oracle SQLLoader工具将其 导到数据库中， 作为基准数据； 增量数据处 理步骤： 在完成基准数据处理步骤后的每一天， 由原系统提供增量数据， 将增量数据传输至迁 移数据库所在服务器上， 并将其与基准数据合并； 在投产当日， 停止原系统服务， 原系统产 出最后一批次增量数据文件， 在最后一批次增量数据入库后， 运行迁移 程序， 以合并后的数 据作为输入 源， 转换数据， 供升级后的系统或者 新建的系统进行加载和使用。 2.根据权利要求1所述的基于增量数据的双阶段数据迁移方法， 其特征在于， 通过文件 传输平台或sftp将处 理后的全量数据文件传输 至迁移所在数据库的服 务器。 3.根据权利要求1所述的基于增量数据的双阶段数据迁移方法， 其特征在于， 通过文件 传输平台或通过sftp将增量数据传输 至迁移数据库所在服 务器上。 4.根据权利要求1所述的基于增量数据的双阶段数据迁移方法， 其特征在于， 所述增量 数据文件的内容 为项目投产前一日数据。 5.根据权利要求4所述的基于增量数据的双阶段数据迁移方法， 其特征在于， 所述增量 数据覆盖基准数据当天的数据。 6.根据权利要求5所述的基于增量数据的双阶段数据迁移方法， 其特征在于， 将增量数 据与基准数据合并的方式包括： 1)若全量数据的格式为csv格式， 则在读取每一行记录数据之后， 通过Oracle的Merge 语句合并到 之前的基准数据中， Merge语句根据主键判断记录是否存在， 若存在则更新其他 字段， 若不存在， 则新增一条记录； 2)若全量数据的格式为sql语句格式， 则直接执行sql语句， 对基准数据进行新增、 删除 和修改。权　利　要　求　书 1/1 页 2 CN 114996239 A 2一种基于增量数据的双阶段数据迁移 方法 技术领域 [0001]本发明涉及数据处理技术领域， 尤其是涉及一种基于增量数据的双阶段数据迁移 方法。 背景技术 [0002]数据迁移是指在升级系统或者是在新建系统的时候， 对原有系统的数据按照一定 规则通过一个或者一组程序对原有系统数据进行抽取、 转换， 并最终加载到升级后的系统 或者新建系统的数据库中， 以便能够在升级后的系统或者新建系统中， 保持业务功 能的正 常性和连续 性， 避免对使用 用户产生影响。 [0003]然而， 当前的数据迁移方法都是一次性抽取、 转换和加载， 即在企业的业务项目投 产时， 将需要迁移的原有系统的数据(例如金融行业的项目投产前的基础业务数据、 交易数 据等数据， 或其他行业 企业的项目投产前的交易数据、 基础业务数据等数据)进 行一次性抽 取， 获取所有的源数据， 然后运行迁移 程序对源数据进 行转换， 最后再加载到升级后的系统 或者新建系统的数据库中。 上述方法当遇到数据量巨大时， 整个过程中所需时间会很长， 不 能满足投产时业 务连续性开展要求。 发明内容 [0004]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于增量数据 的双阶段 数据迁移方法。 [0005]本发明的目的可以通过以下技 术方案来实现： [0006]一种基于增量数据的双阶段数据迁移方法， 适用于项 目投产前的数据迁移， 该方 法包括： [0007]基准数据处 理步骤： [0008]基于原系统导出数据格式为csv格式的全量数据文件， 并将文件中的字段与字段 之间通过分隔符进行区分； 将处理后的全量数据文件传输至迁移所在数据库的服务器后， 采用Oracle  SQLLoader工具将其 导到数据库中， 作为基准数据； [0009]增量数据处 理步骤： [0010]在完成基准数据处理步骤后的每一天， 由原系统提供增量数据， 将增量数据传输 至迁移数据库所在服务器上， 并将其与基准数据合并； 在投产当日， 停止原系统服务， 原系 统产出最后一批次增量数据文件， 在最后一批次增量数据入库后， 运行迁移 程序， 以合并后 的数据作为输入 源， 转换数据， 供升级后的系统或者 新建的系统进行加载和使用。 [0011]进一步地， 通过文件传输平台或sftp将处理后的全量数据文件传输至迁移所在数 据库的服 务器。 [0012]进一步地， 通过文件传输平台或通过sftp将增量数据传输至迁移 数据库所在服务 器上。 [0013]在本发明中， 所述增量数据文件的内容为项 目投产前一日数据。 所述增量数据覆说　明　书 1/3 页 3 CN 114996239 A 3