(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211294388.1 (22)申请日 2022.10.21 (71)申请人 四川省华存智谷科技有限责任公司 地址 610000 四川省成 都市高新区安泰 七 路66号2号厂房1-4层 (72)发明人 王锐　杜小华　陈林　曹学贵　 常清雪　徐明军　朱超　黄耀年　 刘林　钟吉林　 (74)专利代理 机构 成都时誉知识产权代理事务 所(普通合伙) 5125 0 专利代理师 李春彦 (51)Int.Cl. H04L 67/1097(2022.01) H04L 67/1029(2022.01) G06F 16/2455(2019.01) (54)发明名称 用于分布式存储集群利用率100%的扩容方 法、 装置及系统 (57)摘要 本发明提出一种用于分布式存储集群利用 率100%的扩容方法、 装置及系统， 在扩 容方法中， 针对存储节 点被写满的情况， 将扩容辅助存储空 间分为移动缓存空间和高频查询空间， 基于选择 的数据均衡方案进行数据均衡， 在数据均衡过程 中， 当存储节点因为使用率100%而 不能申请到空 间时， 在移动缓存空间内申请临时的空间， 将需 要均衡的数据块迁移到临时空间， 并记录数据迁 移的来源节 点及目的节点， 在存储集群的元数据 中记录数据块此时位于移动缓存空间中， 通过移 动缓存空间辅助数据块的移动， 通过高频查询空 间对外提供数据查询服务。 本发 明借助扩容辅助 存储空间， 在存储节点被写满的情况下依然能够 实现存储集群的扩容操作。 权利要求书2页 说明书5页 附图2页 CN 115442388 A 2022.12.06 CN 115442388 A 1.一种用于分布式存储集群利用率100%的扩容方法， 其特征在于， 所述扩容方法包括 如下步骤： S1、 将存储精简标志设置为0， 获取存 储系统的运行参数； S2、 基于运行参数判断是否存在利用率为100%的存储节点， 如果存在， 进入S3， 否则， 进 入S4； S3、 判断存储精简标志是否为1， 如果为1， 将存储精简标志设置为2， 进入S4， 否则， 根据 存储节点中数据块的特征对各个存储节点中的存储块进 行精简， 将存储精简标志设置为 1， 进入S2； S4、 根据应用场景选择 数据均衡方案； S5、 判断存 储精简标志是否为2， 如果 为2， 进入S6， 否则， 进入S7； S6、 将扩容辅助存储空间分为移动缓存空间和高频查询空间， 基于选择的数据均衡方 案进行数据均衡， 在数据均衡过程中， 通过移动缓存空间辅助数据块的移动， 通过高频查询 空间对外提供 数据查询服 务， 在均衡过程完成后， 进入S 8； S7、 将扩容辅助存储空间作为高频查询空间， 基于选择的数据均衡方案进行数据均衡， 在数据均衡过程中， 通过高频查询空间对外提供数据查询服务， 在均衡过程完成后， 进入 S8； S8、 结束扩容操作。 2.根据权利要求1所述的扩容方法， 其特征在于， 在所述S1中， 所述运行参数包括存储 节点的个数、 现有数据量、 各个存储节点每天的日平均I/O访问时间、 存储节点中各个数据 块每天的I/O访问次数和存 储节点中各个数据块的输入 存储系统时间。 3.根据权利要求2所述的扩容方法， 其特征在于， 在所述S3中， 精简的具体过程为根据 存储节点中各个数据块每天的I/ O访问次数， 计算存储节 点中各个数据块的平均I/O访问次 数， 基于平均I/O访问次数由低到高进行排序， 选择前30%的数据块作为备选数据， 获取当前 系统时间， 分别将备选数据中各个数据块的输入存储系统时间与当前系统时间作差， 判断 备选数据中各个数据块是否达到数据过期时间， 将所有达到数据过期时间的数据块组成待 删除数据， 反馈给存 储系统， 使得存 储系统将相关数据块删除。 4.根据权利要求2所述的扩容方法， 其特征在于， 在所述S4中， 所述数据均衡方案具体 包括响应速度优先 方案和均衡优先 方案。 5.根据权利要求4所述的扩容方法， 其特征在于， 在所述S4中， 所述响应速度优先方案 中数据分配的过程包括： S411、 将存储节点分为快速响应存储节点和 非快速响应存储节点， 根据各个存储节点 每天的日平均I/O访问时间计算各个存储节点的长期平均I/O访问时间， 基于长期平均I/O 访问时间从小到大进 行排序， 选取前40%的存储节点作为快速响应存储节点， 将剩余的存储 节点和新增 加的扩容节点作为非快速响应存 储节点； S412、 将数据块分为高频次数据块和 非高频次数据块， 将高频次数据块平均分配给快 速响应存储节点， 将非高频次数据块平均分配给非快速响应存储节点， 计算存储节点中各 个数据块的平均I/ O访问次数， 基于平均I/O访问次数由高到低进 行排序， 选择前30%的数据 块作为高频次数据块， 将剩余的数据块作为非高频次数据块。 6.根据权利要求4所述的扩容方法， 其特征在于， 在所述S4中， 所述均衡优先方案中数权　利　要　求　书 1/2 页 2 CN 115442388 A 2据分配的过程包括： S421、 将数据块分为高频次数据块和 非高频次数据块， 计算存储节点中各个数据块的 平均I/O访问次数， 基于平均I/ O访问次数由高到低进行排序， 选择前30%的数据块作为高频 次数据块， 将剩余的数据块作为非高频次数据块； S422、 先将高频次数据块平均分配给各个存储节点， 再将非高频次数据块平均分配给 各个存储节点。 7.根据权利要求2所述的扩容方法， 其特征在于， 在所述S6中， 将高频次数据块存入高 频查询空间， 以对外界提供数据查询服务， 在均衡过程中禁止外部设备对存储节点进行读 写操作， 按照选择的数据均衡方案进行数据块移动， 当存储节点因为使用率100%而不能申 请到空间时， 在移动缓存空间内申请临时的空间， 将需要均衡的数据块迁移到临时空间， 并 记录数据迁移的来源节点及目的节点， 在 存储集群的元数据中记录数据块此时位于移动缓 存空间中。 8.根据权利要求2所述的扩容方法， 其特征在于， 在所述S7中， 将高频次数据块存入高 频查询空间， 以对外界提供数据查询服务， 在均衡过程中禁止外部设备对存储节点进行读 写操作， 按照选择的数据均衡方案进行 数据块移动。 9.一种用于分布式存储集群利用率100%的扩容装置， 其特征在于， 所述扩容装置包括 处理器、 辅助扩容存储器、 运算存储器和网络通讯模块， 所述辅助扩容存储器用于提供扩容 辅助存储空间， 所述运算存储器中存储有计算机程序， 所述网络通讯模块能够与外界设备 进行网络通讯， 可以对外提供数据读写服务， 所述处理器通过执行所述计算机程序能够实 现权利要求1 ‑8中任一项所述的扩容方法。 10.一种用于分布式存储集群利用率100%的扩容系统， 其特征在于， 所述扩容系统包括 处理器和存储器， 所述存储器中存储有计算机程序， 所述处理器通过执行所述计算机程序 能够实现权利要求1 ‑8中任一项所述的扩容方法。权　利　要　求　书 2/2 页 3 CN 115442388 A 3