GaussDB(DWS)如何实现实时,批量和交付式查询一站式开发

知是行的主意,行是知的功夫。这篇文章主要讲述GaussDB(DWS)如何实现实时,批量和交付式查询一站式开发相关的知识，希望能为你提供帮助。

文章目录

1 数据分析平台的挑战
- 1.1 当前典型的数据架构
- 1.2主要痛点
- 1.3 GaussDB(DWS)整体解决方案
- - 1.3.1 解决思路:
  - 1.3.2周边配套的云服务:
2GaussDB(DWS)如何支撑实时、批量和交互式查询的
- 2.1 GaussDB(DWS)产品策略:一套架构支撑实时、批量和交互式查询
- 2.2 GaussDB(DWS)实时处理技术:实时数据接入+实时分析
- 2.3 GaussDB(DWS)批量处理技术:高性能+大集群
- 2.4 GaussDB(DWS)交互式查询技术
3 实时、批量和交互式查询一站式分析的开发实践及案例
- 3.1 GaussDB(DWS)一站式技术负载感知的优化执行技术，实现多种负载混合管理
- 3.2 GaussDB(DWS)—站式技术逻辑集群，支持多业务统一管理和隔离，实现纵向扩展
- 3.3 GaussDB(DWS)—站式技术融合分析，互联互通，支持直接读写HDFS/OBS数据
- 3.4 场景一:分时复用资源，实现实时、交互式查询一站式
- 3.5 场景二:多逻辑集群实现实时、批量、交互式查询的库内数据流转
- 3.6 场景三:多集群互联互通，分别承载实时、批量、交互式查询，实现集群间数据流转
- 3.7 典型案例(RY)︰批量与查询业务一站式
- 3.8 典型案例(SD城商)︰一套系统分时实现批量和交互式查询
4一站式分析的未来规划
- 4.1 GaussDB(DWS)云数仓，基于云存储实现冷热数据，跨集群数据共享，数据同步
- 4.2 GaussDB(DWS)云数仓，基于云存储实现跨集群数据共享
- 4.3 GaussDB(DWS)云数仓，基于云存储实现跨集群数据同步

1 数据分析平台的挑战在智能数据时代多样性应用、海量数据、实时处理对数据平台提出挑战

文章图片

数据应用快速发展，现阶段主要矛盾是数据的供需矛盾
数据平台建设重心转向支撑业务应用上线，现阶段的主要矛盾是
数据平台无法满足业务部门日益增长的数据消费需求的无法处理多样化数据供给之间的矛盾

文章图片

1.1 当前典型的数据架构

文章图片

1.2主要痛点

七国八制，组件多，开发方式不统一，数据格式不统一，需要反复转换;
组件间数据流转开发复杂，流转效率不高; 跨集群，跨组件数据一致性差;
依赖于Oracle提供实时数据接入和交互式查询，分析的扩展性差;

1.3 GaussDB(DWS)整体解决方案

文章图片

1.3.1 解决思路:
—套架构支撑实时、此量和交互式查询
与Kafka/Flink等组件联合提供批比流合—能力
与Hadoop、OBS联合提供历史数据存储、归档、数钢交换和查询能力
1.3.2周边配套的云服务:
数据接入：
Kafka:做流式弋规接入;
DRS:从业务数据库中实时同步增量数据;
CDM:从业务数据库或者文本数据同步批量数据。
数据存储：
DWS本地存储:数据有存储在DWS的数据盘;
HDFS:与大数MRS配合方案时，大数据加口工后的数据可以使用DWS外表方式读取;
OBS:大量数热导入到DWS时，可以先放到OBS上，再以DWS外表方式写入到DWS; 或者是历史数据可以归档到OBS中，使用是可以以DWS外表方式读取。
数据治理：
DAYU:做数据加工、数据治理、业务调度。
数据展示：
BI工具:专业BI工具可以使用严选中的永洪、帆软。
2GaussDB(DWS)如何支撑实时、批量和交互式查询的 2.1 GaussDB(DWS)产品策略:一套架构支撑实时、批量和交互式查询 【GaussDB(DWS)如何实现实时,批量和交付式查询一站式开发】产品目标:围绕企业级内核（高性能，高扩展，高可用，融合分析，智能运维)、实时分析、云原生三大方向构筑业界第一数据仓库关键竞争力:

架构归一:一套架构支撑标准数仓、实时数仓、云数仓，支持一站式实时、批量和交互式查询
业界首创:实时数仓、2048节点大集群、逻辑集群（流程IT)
持续领先:大规模集群（G行，480节点上线)、性能领先，非对称容灾(RTO< 30min)、在线扩容、Cloud-Native运维

文章图片

2.2 GaussDB(DWS)实时处理技术:实时数据接入+实时分析方案价值
实时数据接入:支持lot数据接入和交易数据实时接入，lot时序数据接入10w/s/节点，流数据接入60w/s/节点;
数据更新秒级同步:交易数据实时接入，支持增删改数据
实时数据和维度数据、历史数据关联分析:实时数仓可以存储维度数据、历史数据，并支持关联分析，负载隔离。
关键技术
数据复制:交易数据实时接入，支持增删改数据
流引擎:流数据接入、持续计算
时序引擎:时序数据接入、实时合并
Delta引擎:微批数据接入、实时合并

文章图片

应用举例：
某国有保险实时系统:40+节点，~500TB数据，3W+表分钟级实时接入，整体替换掉100+单机SQL server库。
2.3 GaussDB(DWS)批量处理技术:高性能+大集群

文章图片

文章图片

应用举例：
某国有大行EDW系统:480节点，3PB+数据，3W+批处理作业
2.4 GaussDB(DWS)交互式查询技术

核心问题:如何处理高并发点查询; 如何如何处理Adhoc复杂SQL; 如何防止烂SQL搞跨整集群

文章图片

分布式查询优化核心技术

分布式查询重写: 30+查询重写技术，10+项分布式查询重写，查询重写相关专利4篇
分布式查询优化:基于Poisson的估算模型、全局/单点cOst估算模型
—健式SQL调优:简易SQL调优

异常资源实时监控核心技术

运行态实时视图:实时监控运行状态和资源消耗
基于规则的异常资源实时监控

应用举例
某国有大行分析师平台:480节点，3PB数据，每天支撑10w+笔查询，1w+分析师。
3 实时、批量和交互式查询一站式分析的开发实践及案例 3.1 GaussDB(DWS)一站式技术负载感知的优化执行技术，实现多种负载混合管理多种技术提升混合负载并发能力
1．优化器动态感知系统负载，根据资源状况生
成最优执行计划。