目录 CONTENTS Data Standard 数据标准是什么 01 Value 数据标准价值 03 Set Up 如何建立数据标准 05 3.1 0@Ui@yZz 05 ·收集现行标准 05 ·从局部标准到全局标准 .06 发现更多数据标准 06 3.2 0@t@glj@ 07 ·元数据标准 07 ·基础数据标准 10 ·技术标准制定 14 @)Ei@@Ni 3.3 14 3.4 0@tyi@0iz 15 3.5 @@tyi@@@ 16 3.6数据标准维护 16 Product Introduction 数据标准产品介绍 17 4.1 Do"o,0>@@@ 17 4.2 Do"olTaz@ @ 18 ·标准概览 18 ·数据标准文件管理 19 ·数据项标准管理 19 ·元数据标准管理 22 ·技术标准管理 23 ·标准流程管理 24 ·标准配置 27 Practice 数据标准和数据中台的结合实践 28 5.1数据传输 29 5.2元数据 29 ·表元模型设计 30 ·字段元模型设计 31 ·指标元模型设计 32 ·标签元模型设计 32 5.3 @%AiT .33 ·分层规划 33 ·分类规划 33 ·表结构及数据项标准设计 34 5.4 @@@@ 35 5.5数据质量 35 5.6数据安全 .36 Sum Up 总结 37 About Us 关于我们 38-41 01 Data Standard 数据标准是什么？ 在实际的工作生产中，我门一最会荐照国家标准，地方标准。行业标准等来进行具体的活动，来确 保我们生成过程符合监管要求。便于上下游协同等，于是我们会见到如下的标准指导文件： JR 中华人民共和国金融行业标准 JR/T0170.1—2018 商业银行担保物基本信息描述规范 第1部分：通用数据元 Specification forcom mmercialbankcollateralbasicinfomation Pat I: General data element 2018-12-03发布 2018-12-03实施 发布 中国人民银行 同样，数居标准世会以文件的形式存在，在除了国标。行标定义的标准外，企业内部为了便于各部 门采取同样的数据建设规范，通常会使用文件来定义数据标准，以供各部门达成统一的共识。 然而文件固然是标准的一种体现形式，但文件是非结构化的，在实际应用中，我门只有理解，提取 文件里的内容，将标维应用于产品设计及流程活动当中去，标准才能起到真正的规范约束作用， 据的内外部使用和交换的一致性和准确性的规范性约束。 毫无疑问，这是正确的。但我们还需要将标准践行，以建设数据中台为例，我们知道数据中台强调 能力，这是一项艰巨的任务，很难通过互相约定以及默认信任相关方来保障数据的价值发掘，形 成真正的数据资产。 于是，基于此点将数据标准进行扩充，一是对管理范围的扩充，从狭义的数据标准（指对基础数据 本身的规范性约束，如数据格式、类型、值域等）扩充到整个数据中台层面的标准（包含治理各阶 套由规范要求、流程制度、技术工具共同组成的体系，通过这套体系完成标准的规划、制定、发 布、执行、检查、维护等行为，来完成数据的标准化以及标准的沉淀， 口A 免费试用 在线咨询 02 Value 数据标准的价值 在说价值之前，我们先聊聊让我们头疼的问题。 人人都在谈论数据标准，但数据标准真的被应用起来了么，我们拿着一堆标准文件，期望企业内部 宣贯大家要按照这个标准来，但执行的结果如何？ 数据集成多源异构数据时，数据工程师真的能快速理解这些数据的实际业务含义么？如果理解成本 很高，开发人员可能就会出现认识偏差。 终于数据集成进来了，可以开始进行数据建设了，如何保证每一层的数据都是符合质量要求的，靠 开发的个人素质么？比如我们一般在dwd层做数据标准化，那么不同主题域的由不同的负责人进行 开发，怎么保证标准化的结果似乎满足规范的？dWs的数据可信度还能保证么？还能被叫做公共模 型层么？ 再后，数据工程师开发完成后需要对外开放，我们其实开发的不光是其数据，还需要开发它的元数 据信息，帮助数据使用方快速的找到需要的数据，如果只是把数据堆在一起，只有研发人员自己知 道这个数据是什么、在哪、怎么使用，那是不能够被称为数据资产的。 还有很多问题，这里只列举了些典型。当然这些问题，是可以解决的，解决的方式就是数据标准。 解决的的过程可能需要的时间比较长，因为标准从管理到落地执行推进并不是一件容易的事，需要 从思想上进行转变，但我们总要正确的做事。 价值一：建立统一的数据视图 建立通用的元模型规范，支持用户自定义扩展，对多源异构数据表进行信息抽象提取，形成统一的 元数据层。所有的数据开发完成后发布到数据标准维护的统一的数据目录，通过不同维度的数据目 录进行多维筛选，满足各类用户的检索需要，达到资产的可管、可用、可查的目标 价值二：建立统一的数据认知 首先利用标准完成对多源异构数据的标准化描述，虽然数据在不同系统中的称呼干奇百怪，但只要 进入我们的平台都将赋予统一的名姓，使得管理方、开发方、使用方建立统一认知。对于仓外表将 数据标准与表字段进行关联，旨在统一含义以及告知未来数据处理的方向；对于仓内表，模型设计 之初就需要引用标准，我们知道将数据项进行组合即可得到模型，数据元即为标准数据项池，模型 设计时仅需从池子里选取需要的学段进行组合即可组装成想要的模型。 价值三：建立质量稽核体系 现有的质量稽核一般是由用户根据业务需求手动设置：不同人员的认知偏差将导致数据质量难以控 制数据标准通过教据元的表示类属性，根据其格式，美型等要求自动生成质量精核规贝则！：当桌张 泰的学段绑定了教据元时，即可根据数据元的质量信息要求自动生成精核任务：且保证了源头定义 的一致性。 价值四：面向未来的数据治理 我们知道，工具的终极目的都是为了降本提效。效率提升是要靠流程规范的，流程足够规范，在某 种程度上可实现流程自动流转。因此，未来的数据治理趋势应当侧重于流程自动化以及阶段智能 化，而这两点都需要数据标准的支撑。 阶段智能化期望在流程各阶段提供智能识别能力，比如学段的真实含义（挂载数据标准）、资源所 属分类、学段枚举值等，减少人工参与。从短期来看，用户从处理者变为审核者，从长期来看，用 户干预的行为反哺识别模型，增加识别准确性，可降低人力成本； 流程自动化依赖阶段智能化以及人工干预的结果，将各阶段进行串联，上下游尽可能完美对接，当 上游阶段达到下游准入条件时，可自动触发流程运作，当然该过程也需要统一上下游语言（即数据 标准），在实际实践中，可通过试运行进行验证。 标准的价值还有很多，限于篇幅不过多赘述，大家可以不断发现标准的应用场景。说完标准的价值 了，那么我们该如何建立数据标准呢？