Hive 数仓数据迁移，Apache Doris 离线实时一体数仓搭建-2024 Apache Doris Summit 峰会.pdf

基于ApacheDoris

数仓实时离线一体化探索

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

杨志宇大数据开发工程师

目录01背景介绍

02架构演进

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

03最佳实践

04未来规划

背景介绍

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

数仓职能的基本介绍

01数据集成：把多个数据源的数据整合到一起，形成统一的数据存储链路。

02数据存储：存储大量的数据，对于一些业务大表日志同步到数仓进行备份，定时删除业务库历史日志数据，

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

减少业务库负载。

03数据查询：项目内部大表大范围在数仓上进行查询，分担业务数据库压力。

04数据处理：对数据进行清洗转化聚合处理，将数据转化为统一的格式，提高数据利用效率。

05数据分析：根据需求进行业务分析，为业务决策提供数据支持.

历史架构

痛点

•组件太多，架构复杂，运维困难+

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

•对于开发者技能要求高，研发成本高