(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211080818.X
(22)申请日 2022.09.05
(71)申请人 北京金山云网络技 术有限公司
地址 100085 北京市海淀区西二 旗中路33
号院4号楼6层0 06号
(72)发明人 杜志豪 李学良
(74)专利代理 机构 北京华夏泰和知识产权代理
有限公司 1 1662
专利代理师 韩月玲
(51)Int.Cl.
G06F 16/21(2019.01)
G06F 16/22(2019.01)
G06F 16/27(2019.01)
(54)发明名称
集群间数据迁移的方法、 装置、 存储介质以
及电子设备
(57)摘要
本发明公开了一种集群间数据迁移的方法、
装置、 存储介质以及电子设备。 该方法包括: 查找
第一集群中待迁移数据的第一索引; 查找第一索
引的主分片; 对主分片和主分片 对应的存储路径
下的第一数据进行压缩, 得到压缩数据; 将压缩
数据采用断点续传的方式传输给第二集群; 对传
输到第二集群的压缩数据进行解压缩, 得到第一
数据与主分片; 将第一数据存储到第二集群中与
主分片对应的存储路径下。 本发 明解决了集群间
迁移数据效率低的技 术问题。
权利要求书2页 说明书11页 附图3页
CN 115408366 A
2022.11.29
CN 115408366 A
1.一种集群间数据迁移的方法, 其特 征在于, 包括:
查找第一 集群中待迁移数据的第一索引;
查找所述第一索引的主分片;
对所述主分片和所述主分片对应的存 储路径下的第一数据进行压缩, 得到 压缩数据;
将所述压缩数据采用断点 续传的方式传输给第二 集群;
对传输到所述第二集群的所述压缩数据进行解压缩, 得到所述第一数据与所述主分
片;
将所述第一数据存 储到所述第二 集群中与所述主分片对应的存 储路径下。
2.根据权利要求1所述的方法, 其特征在于, 所述查找第 一集群中待迁移数据的第 一索
引包括:
将所述待迁移数据的所有索引中, 索引 状态为关闭的索引的索引 状态调整为打开, 其
中, 所述索引状态为关闭的索引禁止读写;
将所述所有索引中, 每一个所述索引状态为打开的索引作为 一个所述第一索引。
3.根据权利要求2所述的方法, 其特征在于, 所述对所述主分片和所述主分片对应的存
储路径下的第一数据进行压缩, 得到 压缩数据包括:
将每一个所述第一索引作为当前索引, 将所述当前索引的主分片和所述当前索引的所
述主分片对应的存 储路径下的所述第一数据压缩为 一个压缩数据包。
4.根据权利要求1所述的方法, 其特征在于, 所述将所述压缩数据采用断点续传的方式
传输给第二 集群包括:
确定所述压缩数据在所述第一 集群中所在的第一 集群服务器;
在所述第二 集群中确定与所述第一 集群服务器映射的第二 集群服务器;
将所述压缩数据从所述第一集群服务器采用断点续传的方式迁移到所述第二集群服
务器。
5.根据权利要求4所述的方法, 其特征在于, 所述在所述第 二集群中确定与 所述第一集
群服务器映射的第二 集群服务器包括:
为每一个第一集群服务器在所述第二集群中确定出一个集群服务器作为所述第二集
群服务器; 或者
在所述第二 集群中确定出1个集群服 务器作为所述第二 集群服务器。
6.根据权利要求1所述的方法, 其特征在于, 所述将所述压缩数据采用断点续传的方式
传输给第二 集群包括:
将所述压缩数据划分为多个部分;
将所述多个部分中的每一个部分按照 顺序传输到所述第 二集群中; 在所述压缩数据中
的当前部 分传输失败的情况下, 在再次传输所述压缩数据时, 从所述压缩数据的当前部 分,
继续向所述第二 集群传输所述压缩数据。
7.根据权利要求1至6任意一项所述的方法, 其特征在于, 在将所述待迁移数据存储到
所述第二 集群中与所述主分片对应的存 储路径下之后, 所述方法还 包括:
删除所述主分片的状态目录;
在删除所述状态目录成功的情况下, 调用加载接口将所述第 一索引刷新到所述第 二集
群中。权 利 要 求 书 1/2 页
2
CN 115408366 A
28.一种集群间数据迁移的装置, 其特 征在于, 包括:
第一查找模块, 用于查找第一 集群中待迁移数据的第一索引;
第二查找模块, 用于查找所述第一索引的主分片;
压缩模块, 用于对所述主分片和所述主分片对应的存储路径下的第一数据进行压缩,
得到压缩数据;
传输模块, 用于将所述压缩数据采用断点 续传的方式传输给第二 集群;
解压缩模块, 用于对传输到所述第二集群的所述压缩数据进行解压缩, 得到所述第一
数据;
存储模块, 用于将所述第 一数据存储到所述第 二集群中与所述主分片对应的存储路径
下。
9.一种计算机可读的存储介质, 所述计算机可读的存储介质存储有计算机程序, 其特
征在于, 所述计算机程序被处 理器运行时执 行所述权利要求1至7任一项中所述的方法。
10.一种电子设备, 包括存储器和 处理器, 其特征在于, 所述存储器中存储有计算机程
序, 所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方
法。权 利 要 求 书 2/2 页
3
CN 115408366 A
3
专利 集群间数据迁移的方法、装置、存储介质以及电子设备
安全报告 >
其他 >
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:51:04上传分享