(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210703348.1 (22)申请日 2022.06.21 (71)申请人 杭州登虹科技有限公司 地址 310012 浙江省杭州市西湖区西斗门 路3号天堂软件园A幢20楼 A室 (72)发明人 徐一尧　 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种云视频开 放平台大 数据实时数仓系统 (57)摘要 本发明公开了一种云视频开放平台大数据 实时数仓系统， 包括： 即席查询系统、 分钟级 准实 时系统和增量数据实时统计系统； 所述即席查询 系统包括数据源、 实时数据缓存平台、 交互式分 析系统、 API网关和外部应用； 所述分钟级 准实时 系统包括数据源、 实时数据缓存平台、 交互式分 析系统、 API网关和外部应用； 所述增量数据实时 统计系统包括数据源、 实时数据缓存平台、 交互 式分析系统、 API网关和外部应用。 本发明新型架 构在T+1的基础上， 增加了对当天新增数据的插 入， 当天新增数据的更新以及历史数据的更新操 作， 使标签可以实时更新， 活动可以实时推送， 在 第一时间可以将用户行为数据变 现， 在时效性上 有了极大程度的提升 。 权利要求书1页 说明书3页 附图2页 CN 114969081 A 2022.08.30 CN 114969081 A 1.一种云视频开放平台大数据实时数仓系统， 其特征在于， 包括： 即席查询系统、 分钟 级准实时系统和 增量数据实时统计系统； 所述即席查询系统包括数据源、 实时数据缓存平台、 交互式分析系 统、 API网关和外部 应用； 所述分钟级准实时系统包括数据源、 实时数据缓存平台、 交互式分析系统、 API网关和 外部应用； 所述增量数据实时统计系统包括数据源、 实时数据缓存平台、 交互式分析系 统、 API网 关和外部应用。 2.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 即席查询系统、 分钟级准实时系统中的实时数据缓存平台包括操作数据层。 3.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 增量数据实时统计系统中的实时数据缓存平台包括操作数据层、 明细数据层和汇总数据 层。 4.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 即席查询系统中的交互式分析系统包括操作数据层、 明细数据层、 汇总数据层、 应用数据层 和公共维度。 5.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 分钟级准 实时系统和增量数据实时统计系统中的交互式分析系统包括操作数据层、 明细数 据层、 汇总数据层、 应用数据层、 Dataw orks分钟级调度和公共维度。 6.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 外部应用包括可视化大屏、 BI报表系统、 用户画像和Elastic  search。 7.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 即席查询适用于不需要实时查询的场景， 即查即有即可； 增量数据进入DataHub， 明细全量数据进入Hologres， Flink对增量数据进行加工处理 然后实时更新到全量数据里面， ADS层采用view视图来封装业务SQL逻辑， 对外提供API接口 供前端查询。 8.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 分钟级别实时系统， 增量数据进入Datahub； 明细全量数据进入Hologres； Flink加工增量数 据实时更新明细数据； 由于是分钟级的实时场景， 所以明细数据层、 汇总数据层、 应用数据层使用实际物理 表， 使用Dataw orks的分钟级调度系统进行调度即可。 9.根据权利要求1所述的一种云视频开放平台大数据实时数仓系统， 其特征在于： 所述 增量数据实时统计系统： 以datahub为存储， 用flink对接mysql ‑binlog日志对数据进行实时统计， datahub里面 的分层数据ods、 dw d、 dws、 ads可分别导入到hologres进行永久化存储， 出现错误回滚也有 处可寻， 最终使用ho logres去提供 数据服务， 前端可以毫秒级 进行请求。权　利　要　求　书 1/1 页 2 CN 114969081 A 2一种云视频 开放平台大数据实时数仓系统 技术领域 [0001]本发明涉及大数据技术技术领域， 具体为一种云视频开放平台大数据实时数仓系 统。 背景技术 [0002]随着实时化场景的的增多， 公司需要在很短的时间内应用数据， 响应业务需求及 管理层进 行决策等， 这是现在大数据技术重要的发展 方向‑即实时数仓技术。 目前主要存在 的问题是如何在离线和实时代码层面做到统一， 只需维护一套代码和较少的大数据技术组 件就可以实现业务场景需要的实时触达场景。 由于数据领域现在是 由离线T+1的代码和实 时T+0的代码， 两套代码维护一套系统， 代码比较冗余。 如何将 离线和实时代码统一、 减少数 据流经的组件及提高数据流转的效率， 这是需要解决 的问题。 采用先进的实时框架Flink及 Hologres作为底层技术， 在此基础上， 使用视图、 表、 实时流等操作对数据进行不同业务实 时场景的代码开 发。 升级架构之后， 由于代码是 统一的一套， 所以维护起来会减少大量的时 间也不容易出错， 同时， 不同的实时数据方案也应对了不同的场景， 做到了满足业务场景下 的实时数据处 理。 总体实现大 数据的降本增效。 发明内容 [0003]本发明的目的在于提供一种云视频开放平台大数据实时数仓系统， 由于目前业界 的数仓是T+1 （隔一天） 离线数仓为主， 实时数仓为辅， 同时需要维护两套代码。 本发明使用 Flink+Hologres的技术， 解 决了代码的统一、 组件的减少、 实时方案的多元化， 从而实现降 本增效。 [0004]为实现上述目的， 本发明提供如下技术方案： 一种云视频开放平台大数据实时数 仓系统， 包括： 即席查询系统、 分钟级准实时系统和 增量数据实时统计系统； 所述即席查询系统包括数据源、 实时数据缓存平台、 交互式分析系统、 API网关和 外部应用； 所述分钟级准实时系统包括数据源、 实时数据缓存平台、 交互式分析系统、 API网 关和外部应用； 所述增量数据实时统计系统包括数据源、 实时数据缓存平台、 交互式分析系统、 API网关和外 部应用。 [0005]优选的， 所述即席查询系统、 分钟级准实时系统中的实时数据缓存平台包括操作 数据层。 [0006]优选的， 所述增量数据实时统计系统中的实时数据缓存平台包括操作数据层、 明 细数据层和汇总数据层。 [0007]优选的， 所述即席查询系统中的交互式分析系统包括操作数据层、 明细数据层、 汇 总数据层、 应用数据层和公共维度。 [0008]优选的， 所述分钟级准实时系统和增量数据实时统计系统中的交互式分析系统包说　明　书 1/3 页 3 CN 114969081 A 3