(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211178512.8 (22)申请日 2022.09.26 (71)申请人 上海浦东发展银行股份有限公司 地址 200001 上海市黄浦区中山 东一路12 号 (72)发明人 刘磊　褚杰　徐云龙　周宗龙　 娄晓光　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 黄丽霞 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 数据表同步方法、 装置、 计算机设备、 存储介 质 (57)摘要 本公开涉及一种数据表同步方法、 装置、 计 算机设备、 存储介质。 所述方法包括： 获取源集群 和目标集群的组件版本信息； 响应于所述源集群 的组件版本信息和目标集群的组件版本信息存 在版本差异， 根据所述版本差异对应的差异点对 所述源集群中数据表的元数据进行转换； 与所述 目标集群进行交互， 将转换后得到的元数据写入 至目标集群的元数据库中； 根据所述版本差异确 定所述目标集群的主数据的存储路径， 利用所述 存储路径对所述源集群和目标集群的主数据进 行同步。 采用本方法能够解决目前数据处理工具 在不同的Hive表版本之间无法复制或者无法兼 容的问题。 权利要求书2页 说明书12页 附图7页 CN 115481198 A 2022.12.16 CN 115481198 A 1.一种数据表同步方法， 其特 征在于， 所述方法包括： 获取源集群和目标集群的组件版本信息； 响应于所述源集群的组件版本信 息和目标集群的组件版本信 息存在版本差异， 根据 所 述版本差异对应的差异点对所述源集群中数据表的元 数据进行复制和转换； 与所述目标集群进行交 互， 将转换后得到的元 数据写入至目标集群的元 数据库中； 根据所述版本差异确定所述目标集群的主数据的存储路径， 利用所述存储路径将所述 源集群和目标集群中数据表的主数据进行同步。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在主数据进行同步的过程中， 响应于主数据进行同步 时出现异常情况， 导致同步失败， 则将该主数据进行同步时对应的同步任务加入预 先创建的同步队列； 当满足预先设置的重试条件时， 对所述同步队列中同步失败的所述源集群和目标集群 的主数据再次进行同步。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 响应于接收到极速同步指令， 仅 根据所述版本差异修改所述目标集群的主数据的存储 路径， 利用所述存储路径对所述源集群和目标集群的主数据进行同步， 所述极速同步指令 表征无需进行 元数据比对； 在对所述源集群和目标集群的多个数据表进行同步的过程中， 响应于接收到失败日 志， 确定与所述 失败日志对应的同步 失败的数据 表， 其中， 所述 失败日志表征对 数据表进行 同步的过程中同步终止或者失败； 利用断点 续传继续从同步终止或失败的数据表开始进行同步。 4.根据权利要求1或3所述的方法， 其特征在于， 所述利用所述存储路径对所述源集群 和目标集群的主数据进行同步， 包括： 根据所述源集群或目标集群的集群性能和资源确定并行同步的进程数； 利用所述进程数和所述存 储路径并行对所述源集群和目标集群的主数据进行同步。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述版本差异对应的差异点对所 述源集群中数据表的元 数据进行转换之前， 所述方法还 包括： 响应于接收到修改参数， 根据修改参数对所述源集群中数据表的元 数据进行修改。 6.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 在对主数据进行同步的过程中， 分别在所述源集群和目标集群中建立快照； 响应于接收到同步日志， 删除所述源集群中的所述快照， 以及， 对所述目标集群中的主 数据进行一 致性校验， 其中， 所述同步日志 表征进行同步完成； 响应于接收到查杀命令， 获取进行同步时对应的进程， 根据所述查杀命令终止所述进 程， 并停止进行同步。 7.一种数据表同步装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于获取源集群和目标集群的组件版本信息； 数据转换模块， 用于响应于所述源集群的组件版本信 息和目标集群的组件版本信 息存 在版本差异， 根据所述版本差异对应的差异 点对所述源集群中数据表的元数据进 行复制和 转换； 数据交互模块， 用于与所述目标集群进行交互， 将转换后得到的元数据写入至目标集权　利　要　求　书 1/2 页 2 CN 115481198 A 2群的元数据库中； 数据同步模块， 用于根据所述版本差异确定所述目标集群的主数据的存储路径， 利用 所述存储路径将所述源集群和目标集群中数据表的主数据进行同步。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至 6中任一项所述的方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 6中任一项所述的方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行 时实现权利要求1至 6中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115481198 A 3