(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111545084.3 (22)申请日 2021.12.16 (71)申请人 北京宏天信业信息技 术股份有限公 司 地址 100044 北京市海淀区高梁桥 斜街59 号院1号楼市长大厦8层0809号 (72)发明人 王显辉　黄波　李瑜　 (74)专利代理 机构 重庆金橙专利代理事务所 (普通合伙) 50273 代理人 李梅 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/2458(2019.01) G06N 20/00(2019.01) (54)发明名称 一种基于数据中台的数据质 量监控方法及 系统 (57)摘要 本发明公开了一种基于数据中台的数据质 量监控方法及系统， 包括规则中心、 核对引擎、 处 置中心、 知识库和大盘分析； 所述规则中心分为 基本规则和模 型规则两类； 所述核对引擎包含数 据获取和数据核对两部分； 所述处置中心分为告 警和处理两个模块； 所述知识库和分析模块主要 是统计分析各业务的异常情况， 对外输出各业务 每天对账异常占比， 原因分析， 异常同比增加、 减 少量。 本发明通过系统内设有的处置中心， 采用 多种告警方式， 可便于工作人员对存在问题及时 发现并进行处理， 通过系统内规则中心的设置， 采用自动对比的方式， 从而更进一步的提高数据 的准确性， 进而使得该系统具有较好的使用性， 继而提高了 工作人员的工作效率。 权利要求书2页 说明书5页 附图1页 CN 114185948 A 2022.03.15 CN 114185948 A 1.一种基于数据中台的数据质量监控方法及系统， 包括规则中心、 核对引擎、 处置中 心、 知识库和大盘分析， 其特 征在于： 所述规则中心分为基本规则和模型规则两类； 所述核对引擎包 含数据获取和数据核对两 部分； 所述处置中心分为告警和处 理两个模块； 所述知识库和分析模块主要是统计分析各业务的异常情况， 对外输出各业务每天对账 异常占比， 原因分析， 异常同比增 加、 减少量。 2.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述基本规则的核心是范围匹配， 关系匹配是范围匹配的一种 特例， 范围匹配可将多个对 照物经过计算与 某个区间范围的比较关系是否成立， 一个包含两个对照物的范围匹配公式 是： 对照物计算逻辑+运 算符+对照物计算逻辑+比较符+范围符。 3.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述模型规则有策略和机器学习两种。 4.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述数据获取模块可从数据源拉回数据， 数据源可以是mys ql， hive， es等， 也可以是一个包 含schema信息的hdfs路径。 5.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述核对引擎按照核对时间可以分为 准实时核对 模块和离线 核对模块； 准实时模块是用spark或者fl ink流处理平台从MQ中消费数据， 并进行比对 验证； 离线模块是一个可 执行的脚本或者jar包。 6.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述告警模块包含常用的告警方式， 例如短信告警， 电话告警等， 由平台提供， 告警也可凭 借柱状图形式来展示告警历史， 柱形高低代表通知总量， 通过点击柱形， 即可查看订阅的告 警历史， 并对告警历史进行总和分析， 通过AI机器进行 学习， 主要信息包括： 一、 告警时间； 二、 告警类型； 三、 数据源； 四、 告警详情； 默认告警时间可设置阈值范围， 最小范围为 最近一小时。 7.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述处理模块可按照告警的类型并选择代码进行自动处理， 处理逻辑与用户有关， 与平台 无关， 用户可以先在网页上配置自己的处理逻辑， 当配置质量检测任务时， 针对于一条规 则， 可以选择多种处 理逻辑。 8.根据权利要求1所述的一种基于数据中台的数据质量监控方法及系统， 其特征在于： 所述知识库中； 当产生一条质量比对异常的时候， 系统可自动在知识库中生成一条异常帖子， 记录异 常的信息， 包含 数据源， 规则， 异常产生时间等， 并提醒相关用户， 用户可以在该帖子下面回 复异常处 理流程， 总结问题 原因， 短期长期解决方案等； 当该异常处理完毕后， 用户可以关闭帖子， 标记一条异常处理完毕， 其他用户可以通过权　利　要　求　书 1/2 页 2 CN 114185948 A 2关键词搜索指定帖子， 查询某种异常的处 理进度与方案 。权　利　要　求　书 2/2 页 3 CN 114185948 A 3