ICS 35.220.01 CCS L70 GB 中华人民共和国国家标准 GB/T XXXXX—XXXX 信息技术分布式存诸协议互联技术要求 Information technology — Protocol interconnection technical requirement for distributed storage (征求意见稿) （在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上） XXXX - XX- XX 发布 XXXX - XX-XX 实施 国家市场监督管理总局 发布 国家标准化管理委员会 GB/T XXXXX—XXXX 目 次 前 言 IH 引 言 1 范围 2规范性引用文件 3术语和定义 4缩略语 5技术架构.. 6技术要求， 6.1总体要求 6.2协议接入服务层. 6.3统一语义处理层 6.4可扩展数据对象层 参考文献.. 8 GB/T XXXXX—XXXX 信息技术分布式存诸协议互联技术要求 1范围 本文件给出了分布式存储协议互联技术架构，规定了分布式存储协议互联技术架构下的技术要求， 本文件适用于分布式存储协议互联架构的设计和实现。对于集中式存储协议互联架构的设计和实 现可参照使用。 2 规范性引用文件 本文件没有规范性引用文件。 3 ：术语和定义 下列术语和定义适用于本文件。 3. 1 分布式存储 者 distributed storage 通过网络整合分布在多台机器的存储空间资源，构成虚拟存储设备的一种数据存储技术。 ［来源：GB/T36074.3-2019，3.17] 3. 2 存储协议 storage protocol 主机和存储设备间进行传输、访问和存储数据的规则。 注：分布式存储协议一般分为文件存储协议、对象存储协议、大数据存储协议和块存储协议。其中文件存储协议 （NFS、SMB/CIFS、POSIX）、对象存储协议（S3、SWIFT）、大数据存储协议（HDFS、S3）主要应用于非结构 化数据应用场景中。 3.3 存储协议互联 protocol interconnection for storage 为实现兼容性，存储协议之间进行语义操作的技术。 注：为满足一份数据被主机多样应用跨文件、对象、大数据存储协议实时访问，分布式存储基于全局可扩展数据 对象层提供全局单一副本的数据共享存储方式，同时通过统一的存储协议语义映射处理，实现文件、对象、 大数据存储协议同时关联接入及语义操作兼容。 3. 4 元数据 metadata 定义和描述其他数据的数据。 1 GB/TXXXXX—XXXX 储系统内产生的数据逻辑地址与物理地址映射等信息。 [来源：GB/T18391.1—2009，3.2.16，有修改] 3.5 统一元数据 unified metadata 融合多协议元数据，形成具有一致数据结构的信息。 注：协议元数据包括目录（文件）、桶（对象）的名称、大小、时间、用户属主等信息。 3. 6 元数据组织 organization of metadata 按照一定的规则和方式对元数据对象进行归并、存储、处理的过程。 3. 7 数据组织 organization of data 按照一定的规则和方式对数据对象进行归并、存储、处理的过程。 ［来源：GB/T39362—2020，3.7，有修改] 4缩略语 下列缩略语适用于本文件。 ACL：访问控制列表（Access ControlList） AD：活动目录（ActiveDirectory） AK/SK：访问密钥/保密密钥（AccessKey/SecretAccessKey） API：应用程序编程接口（ApplicationProgrammingInterface） CIFS：通用网络文件系统（CommonInternetFileSystem） CPU：中央处理单元（CentralProcessing Unit） HDFS：Hadoop分布式文件系统（Hadoop Distributed File System） ID：标识符（Identifier） LDAP：轻型目录访问协议（Lightweight Directory Access Protocol） NFS：网络文件系统（NetworkFileSystem） NIS：网络信息服务（Network Information Service） PoSIX：可移植操作系统接口（PortableOperatingSystemInterface） QoS：服务质量（Qualityof Service） SDK：软件开发工具包（SoftwareDevelopmentKit） SMB：服务器消息块（ServerMessageBlock） 5 技术架构 为满足一份数据被主机多样应用跨文件、对象、大数据存储协议实时访问，分布式存储协议互联 技术基于全局可扩展数据对象层，提供全局单一副本的数据共享存储方式，同时通过统一的存储协议 语义映射处理，实现文件、对象、大数据存储协议同时关联接入及语义操作兼容。图1给出了分布式存 储协议互联技术架构。 2 GB/T XXXXXXXXX 主机应用层 文件应用 大数据应用 对象应用 NFS/CIFS/POSIX协议 HDFS/s3协议 s3/Swift协议 协议接入服 务会 文件存储协议服务 大数据存储协议服务 分布式存储协议互联技术架构 对象存储协议服务 1 1 1 协议统一语义访问接口 元数据映射 数据映射 1 统一格式的元数据对象和娄居对象 可扩展数据 对象层 元数据组织 数据组织 图1分布式存储协议互联技术架构 分布式存储协议互联技术架构中各层技术的作用如下： 协议服务接入层：提供文件、对象、大数据服务同时接入以及鉴权认证、负载均衡等功能； 统一语义处理层：通过元数据映射转换和数据映射转换，提供统一的语义访问接口，实现协 议间语义操作实时转换，实现语义兼容； 可扩展数据对象层：通过元数据组织和数据组织机制，提供具有一致数据结构的元数据对象 和数据对象，以支撑多协议映射对应一份元数据和数据。 示例： 来自文件应用的数据（文件A）由NFS协议写入并提供文件存储协议服务，文件A通过统一语义处理层完成元 数据映射和数据映射后，形成可扩展数据对象层中全局统一的元数据对象和数据对象，并实现元数据组织和数 据组织；当对象应用希望通过S3协议读取文件A时，S3协议通过统一语义处理层映射到文件A，然后从可扩展数 据对象层访问到文件A，最终映射转换为指定S3协议格式的数据内容，实现文件A以NFS协议写入，S3协议读取。 文件存储目录树形式 对象存储URL格式：https://域名/桶名/对象名 /dirl 主机应用层 dir2 门文件B 路径：https://s3.com/dir1/文件B 路径：https://s3.com/dir1/dir2/文件A 门文件A S3协议 写入：/dir1/dir2/文件A 读取：https://s3.com/dir1/dir2/文件A 协议接入 NFS存储协议服务 S3存储协议服务 服务层 协议操作语义处理、元数据及数据映射 统一语义 NFS协议操作 统一元数据 S3协议操作 处理层 目录：dir1/dir2 路径：dir1+dir2 桶：dirl 文件：文件A 名称：文件A 对象：dir2/文件A NFS协议 可扩展数据 元数据 路径：dir1+dir2 索引 数据 名称：文件A 对象层 对象 属性：大小，时间等 对象 3 GB/TXXXXX—XXXX 6技术要求 6.1总体要求 分布式存储协议互联技术架构的总体要求如下： a）支持文件、对象、大数据应用中的至少两类协议同时接入，支持协议标准接口，并提供鉴权 认证，负载均衡等能力； b) 提供协议统一语义访问接口，支持不同协议间语义实时转换； c）具有一致数据结构的元数据对象和数据对象，提供数据分布均衡及数据修复重构能力。 6.2协议接入服务层 6.2.1存储访问接口 6.2.1.1文件存储访问接口 对接文件存储应用时，文件存储访问接口要求如下： a）应支持的NFS（V3和V4版本）协议，支持对目录、文件（包括附属信息）的创建、打开、关闭 查找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用操作； b) 应支持的CIFS/SMB（V1、V2和V3版本）协议，支持对目录、文件（包括附属信息）的创建、 打开、关闭、删除、查询、设置、读、写、数据同步、租约等常用操作； c) 宜支持POSIX接口的私有客户端模式，支持对目录、文件（包括附属信息）的创建、打开、关 闭、查找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用操作。 6.2.1.2对象存储访问接口 对接文件存储应用时，对象存储访问接口要求如下： a）应支持S3API接口，并应符合： 1）支持桶创建、列举、删除等常用操作，宜支持桶生命周期、桶策略、桶ACL等功能的设置、 查询等操作； 2）支持对象的上传、下载、删除、拷贝、移动、列举、查询、分片上传等常用操作； 注：S3指亚马逊简单存储（AmazonSimpleStorageService）。 b) 宜支持Swift接口，并宜符合： 1）支持账户的创建、查询、修改、删除、容器列举等常用操作，支持容器的创建、查询、 修改、删除、对象列举等常用操作； 2）支持对象的创建、查询、复制、删除等常用操作。 注：Swift指对象存储协议标准（OpenStack ObjectStorageSwift）。 6.2.1.3大数据存储访问接口 对接大数据存储应用时，大数据存储访问接口要求如下： a）应支持HDFS接口，以