(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210316593.7
(22)申请日 2022.03.28
(71)申请人 京东方科技 集团股份有限公司
地址 100015 北京市朝阳区酒仙桥路10号
(72)发明人 佟立伟
(74)专利代理 机构 北京博思佳知识产权代理有
限公司 1 1415
专利代理师 靳玫
(51)Int.Cl.
G06F 16/27(2019.01)
G06F 21/62(2013.01)
(54)发明名称
数据同步方法和系统、 计算机可读存 储介质
(57)摘要
本公开是关于一种数据同步方法和系统、 计
算机可读存储介质。 该方法包括: 从源数据库获
取初始源数据; 生成所述初始源 数据的指纹数据
得到包含所述指纹数据的目标源 数据; 所述指纹
数据作为所述初始源数据的主键; 将所述目标源
数据同步到目标数据库, 以使所述目标数据库在
所述主键校验通过后存储所述目标源 数据。 本实
施例中通过为初始源数据生成具有唯一性特征
的指纹数据可以解决数据同步过程中重复同步
的问题, 提升数据同步的准确度和同步效率。
权利要求书2页 说明书11页 附图5页
CN 114722118 A
2022.07.08
CN 114722118 A
1.一种数据同步方法, 其特 征在于, 应用于数据同步系统, 包括:
从源数据库获取初始源数据;
生成所述初始源数据的指纹数据得到包含所述指纹数据的目标源数据; 所述指纹数据
作为所述初始源数据的主键;
将所述目标源数据同步到目标数据库, 以使所述目标数据库在所述主键校验通过后存
储所述目标源数据。
2.根据权利要求1所述的方法, 其特 征在于, 生成所述初始源数据的指纹数据, 包括:
调用预设的指纹生成模型;
将所述初始源数据作为所述指纹生成模型的输入数据输入到所述指纹生成模型, 得到
所述指纹数据。
3.根据权利要求2所述的方法, 其特征在于, 所述预设的指纹生成模型采用消息摘要算
法、 安全散列算法、 消息认证码算法和基于密钥的消息认证码算法中的至少一种实现。
4.根据权利要求1所述的方法, 其特征在于, 将所述目标源数据同步到目标数据库, 包
括:
基于所述目标源数据中的初始源数据生成校验指纹数据;
当所述目标源数据中的主键与所述校验指纹数据相同时, 将所述目标源数据发送到目
标数据库。
5.根据权利要求 4所述的方法, 其特 征在于, 所述方法还 包括:
所述目标 数据库获取 所述目标源数据中的主键并匹配已存 储数据的主键;
当所述目标数据库中存在所述目标源数据的主键时, 将所述目标源数据 更新到所述目
标数据库;
当所述目标数据库中不存在所述目标源数据的主键时, 将所述目标源数据插入到所述
目标数据库。
6.根据权利要求1所述的方法, 其特征在于, 将所述目标源数据同步到目标数据库, 包
括:
获取除新增数据列之外的数据列的第一指纹数据和包含新增数据列的数据列的第二
指纹数据;
匹配所述第一指纹数据和所述目标 数据库的主键;
当所述目标数据库中存在所述目标源数据的主键时, 将所述目标源数据和所述第 二指
纹数据更新到所述目标 数据库。
7.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括:
获取历史任务信息;
统计所述历史任务信息中所使用的目标源数据中的列组合;
根据所述列组合的列 数据生成指纹数据, 将所述指纹数据作为所述目标源数据的副键
同步存储到所述目标 数据库中。
8.一种数据同步系统, 其特 征在于, 包括源数据库、 目标 数据库和数据同步装置;
所述数据同步装置用于从所述源数据库获取初始源数据并生成所述初始源数据的指
纹数据, 得到包含所述指纹数据的目标源数据; 所述指纹数据作为所述初始源数据的主键;
以及将所述目标源数据同步到目标数据库, 以使 所述目标数据库在所述主键校验通过后存权 利 要 求 书 1/2 页
2
CN 114722118 A
2储所述目标源数据。
9.根据权利要求8所述的系统, 其特征在于, 所述数据同步装置包括Framework模块、 指
纹数据生 成模块、 读取插件和写入插件; 所述Framewor k模块分别与所述读取插件和所述写
入插件连接,
所述读取插 件, 用于从源数据库读取待同步的初始源数据;
所述指纹数据生成模块, 用于生成所述初始源数据的指纹数据并将所述指纹数据作为
所述初始源数据的主键;
所述Framework模块, 用于将所述初始源数据和所述主键作为目标源数据转发给所述
写入插件;
所述写入 插件, 用于将所述目标源数据写入到目标 数据库。
10.根据权利要求9所述的系统, 其特征在于, 所述指纹数据生成模块集成到所述读取
插件和/或Framew ork模块。
11.根据权利要求9所述的系统, 其特征在于, 所述指纹数据生成模块集成到所述写入
插件内, 用于基于所述 目标源数据中的初始源数据生成校验指纹数据; 所述写入插件还用
于对比所述目标源数据中的主键与所述校验指纹数据, 并在所述主键与所述校验指纹数据
相同时, 将所述目标源数据发送到目标 数据库。
12.根据权利要求8所述的系统, 其特征在于, 所述数据同步装置中写入插件还用于: 获
取除新增数据列之外的数据列的第一指纹数据和包含新增数据列的数据列的第二指纹数
据; 匹配所述第一指纹数据和所述 目标数据库的主键; 当所述 目标数据库中存在所述 目标
源数据的主键时, 将所述目标源数据和所述第二指纹数据更新到所述目标 数据库。
13.根据权利要求8所述的系统, 其特征在于, 所述数据同步装置还用于获取历史任务
信息; 统计所述历史任务信息中所使用的目标源数据中的列 组合; 根据所述列 组合的列数
据生成指纹数据, 将所述指纹数据作为所述目标源数据的副键同步存储到所述目标数据库
中。
14.一种非暂态计算机可读存储介质, 其特征在于, 当所述存储介质中的可执行的计算
机程序由处 理器执行时, 能够实现如权利要求1~7任一项所述的方法。权 利 要 求 书 2/2 页
3
CN 114722118 A
3
专利 数据同步方法和系统、计算机可读存储介质
安全报告 >
其他 >
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-03-03 20:14:34上传分享