Databend（吴炳锡）：数据汇聚平台建设及挑战.pdf

数据汇聚平台建设及挑战

DtabendLabs吴炳锡

目录

CONTENTS▶数据汇聚平台的背景及挑战

▶新一代湖仓Databend如何应对

▶Databend建设数据汇聚平台整体架构

▶在汇聚平台上构建数据集市

数据汇聚平台的背景及挑战

数据汇聚平台的背景

客户端实时上报接口

Nginx日志Flume/fluentdKafkaflinkMySQL统计库

MySQLMaxwell

a

RedisClickhouse

sqoop

HDFS

业务端AFlume/fluentd/OSS

业务端BMySQL统计库/IceBergHivePresto

Mr+Spark

...Maxwell/Hudi

任务调度补数数据实时数据报表自助查询

任务监控跑批即度查询跑批

数据汇聚平台的背景及挑战

Clickhouse/GreenPlum

ES

Hudi/Icebreg/Paimon

Trino/Implala

各种大模型

数据汇聚平台的背景及挑战

当前的挑战

01海量数据接入，大量数据搬家，数据一致性差05数据加工资源占多，存在严重的性能问题

02技术栈多，组件多，运维成本高