全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074583 0.1 (22)申请日 2022.06.28 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 张利兵  (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 周春霞 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/18(2019.01) (54)发明名称 一种数据发布方法、 装置、 电子设备及存储 介质 (57)摘要 本申请实施例提供一种数据发布方法、 装 置、 电子设备及存储介质, 其中, 该方法包括: 获 取数据库的元数据; 根据所述元数据更新所述数 据库的日志, 得到更新数据; 将所述更新数据转 存至队列服务中; 对所述队列服务中的更新数据 进行发布。 实施本申请实施例, 可 以解决数据库 的元数据需要及时更新、 发布的问题, 可 以及时 对数据库的元数据进行发布, 并且提高更新进度 和效率, 缩短对增量数据的处理时间, 简化处理 流程。 权利要求书1页 说明书8页 附图4页 CN 115098522 A 2022.09.23 CN 115098522 A 1.一种数据发布方法, 其特 征在于, 所述方法包括: 获取数据库的元 数据; 根据所述元 数据更新所述数据库的日志, 得到更新数据; 将所述更新数据转存至队列服 务中; 对所述队列服 务中的更新数据进行发布。 2.根据权利要求1所述的数据发布方法, 其特征在于, 所述根据 所述元数据更新所述数 据库的日志, 得到更新数据的步骤, 包括: 获取所述元数据的格式定义; 根据所述格式定义复制所述数据库的日志的日志消息, 得到所述更新数据。 3.根据权利要求1所述的数据发布方法, 其特征在于, 所述对所述队列服务中的更新数 据进行发布的步骤, 包括: 对所述队列服 务中的更新数据进行解析, 得到 本地格式数据; 对所述本地格式数据进行发布。 4.根据权利要求3所述的数据发布方法, 其特征在于, 在所述对所述队列服务中的更新 数据进行发布的步骤之前, 还 包括: 对所述队列服 务中的更新数据进行组合分析。 5.一种数据发布装置, 其特 征在于, 所述装置包括: 获取模块, 用于获取 数据库的元 数据; 更新模块, 用于根据所述元 数据更新所述数据库的日志, 得到更新数据; 转存模块, 用于将所述更新数据转存至队列服 务中; 发布模块, 用于对所述队列服 务中的更新数据进行发布。 6.根据权利要求5所述的数据发布装置, 其特 征在于, 所述更新模块还用于: 获取所述元数据的格式定义; 根据所述格式定义复制所述数据库的日志的日志消息, 得到所述更新数据。 7.根据权利要求5所述的数据发布装置, 其特 征在于, 所述发布模块还用于: 对所述队列服 务中的更新数据进行解析, 得到 本地格式数据; 对所述本地格式数据进行发布。 8.根据权利要求7 所述的数据发布装置, 其特 征在于, 所述装置还 包括分析模块, 用于: 对所述队列服 务中的更新数据进行组合分析。 9.一种电子设备, 其特征在于, 包括存储器及处理器, 所述存储器用于存储计算机程 序, 所述处理器运行所述计算机程序以使 所述电子 设备执行根据权利要求 1至4中任一项 所 述的数据发布方法。 10.一种计算机可读存储介质, 其特征在于, 其存储有计算机程序, 所述计算机程序被 处理器执行时实现如权利要求1至4中任一项所述的数据发布方法。权 利 要 求 书 1/1 页 2 CN 115098522 A 2一种数据发布方 法、 装置、 电子设备及存储介质 技术领域 [0001]本申请涉及数据处理技术领域, 具体而言, 涉及一种数据发布方法、 装置、 电子设 备及计算机可读存 储介质。 背景技术 [0002]在数字经济 的大背景下, 为了提升服务精准, 企业需要建设数仓和大数据和分析 平台, 对多个平台的用户消费数据组合进行 行为分析, 从而产生 业务发展的决策支撑指导。 [0003]而平台的存量数据通过运维方式可以一次性解决, 但是增量数据需要每天不断的 更新同步, 数据采集一般都是通过ETL服务平台, 分为离线和实时两种, 离线通常是配置采 集任务, 通过任务调 度进行数据采集, 实时则是通过客户端方式接入, 通过消费日志的方式 采集数据, 在接入时需要提前考虑需求定制、 制定接口契约协议等工作, 存在周期长的现 象, 且需要 进行不停重复, 同时叠加审批流 程, 业务上线和试错的成本极高。 发明内容 [0004]本申请实施例的目的在于提供一种数据发布方法、 装置、 电子设备及计算机可读 存储介质, 可以解决数据库的元数据需要及时更新、 发布的问题, 可以及时对数据库的元数 据进行发布, 并且提高更新进度和效率, 缩短对增量数据的处 理时间, 简化处 理流程。 [0005]第一方面, 本申请实施例提供了一种数据发布方法, 所述方法包括: [0006]获取数据库的元 数据; [0007]根据所述元 数据更新所述数据库的日志, 得到更新数据; [0008]将所述更新数据转存至队列服 务中; [0009]对所述队列服 务中的更新数据进行发布。 [0010]在上述实现过程中, 通过数据库的日志功能以及队列服务的方式对元数据进行更 新、 发布, 可以解决数据库的元数据需要及时更新、 发布的问题, 可以及时对数据库的元数 据进行发布, 并且提高更新进度和效率, 缩短对增量数据的处 理时间, 简化处 理流程。 [0011]进一步地, 所述根据所述元数据更新所述数据库的日志, 得到更新数据的步骤, 包 括: [0012]获取所述元数据的格式定义; [0013]根据所述格式定义复制所述数据库的日志的日志消息, 得到所述更新数据。 [0014]在上述实现过程中, 根据元数据的格式定义复制 数据库的日志的日志消息, 可以 简化获得 更新数据的流 程, 提高更新效率, 减少时间成本 。 [0015]进一步地, 所述对所述队列服 务中的更新数据进行发布的步骤, 包括: [0016]对所述队列服 务中的更新数据进行解析, 得到 本地格式数据; [0017]对所述本地格式数据进行发布。 [0018]在上述实现过程中, 对队列服务的更新数据进行解析, 得到本地格式数据, 更容易 进行发布, 且在发布过程中不 易出错, 可以减少发布流 程, 缩短发布时间。说 明 书 1/8 页 3 CN 115098522 A 3

PDF文档 专利 一种数据发布方法、装置、电子设备及存储介质

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据发布方法、装置、电子设备及存储介质 第 1 页 专利 一种数据发布方法、装置、电子设备及存储介质 第 2 页 专利 一种数据发布方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:46:21上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。