Apache Flink X Apache Doris：构建极速易用的实时数仓架构.pdf

Apache Flink X Apache Doris 构建极速易用的实时数仓架构 How to build an extremely fast and easy-to-use real-time data warehouse 王磊 | SelectDB 资深大数据研发专家 个人介绍 王磊 Apache Doris Contributor 、阿里云 MVP； 超10年大数据领域工作经验，有PB级数据处理和分析经验； 人气技术畅销书 《图解 Spark 大数据快速分析实战 》、 《offer 来了：Java 面试核心知识点精讲（原理篇架构篇） 》作者 01 实时数仓需求和挑战 02 基于 Apache Doris 和 Apache Flink 构建实时数仓 03 用户案例与最佳实践分享 04 未来展望与计划 01 实时数仓需求和挑战 实时数仓的需求与挑战 业务数据 实时数仓 数据应用 MySQL 贴源层 明细层 汇总层 应用层 Binlog同步 指标监控 RDS Oracle ODS DWD DWS ADS PostgreSQL 高并发报表 Flume Kafka Sink 清洗 日志数据 离线数仓 自助BI DataX定时同步 TXT HDFS/S3 HDFS/S3 HDFS/S3 HDFS/S3 用户行为分析 埋点上报 CSV ODS DWD DWS ADS 日志采集 …… HiveSQL/SparkSQL打宽 HiveSQL/SparkSQL HiveSQL/SparkSQL …… 实时数仓的需求与挑战 数据源