基于Doris湖仓一体分析系统在快手的实践-2024大数据大模型峰会.pdf
基于Doris湖仓一体分析系
统在快手的实践
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
演讲人：李振炜-快手-大数据架构师
DataFunCon#2024
Contents
目录
公司OLAP分析现状
湖仓一体分析系统架构
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
缓存系统
自动物化系统
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
公司OLAP分析现状
公司OLAP分析现状
在当下的信息时代，数据作为公司一种重要的资产，OLAP分析提炼数据价值，成
为公司决策的重要的依据，在公司内部使用非常广泛，每天的查询量接近10亿
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
公司OLAP分析现状
主要的分析引擎为ClickHouse,整体的分析加工链路如下：
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
公司OLAP分析现状
这套分析加工流程，虽然在公司内部成熟稳定运行，不过也面临很多的问题。
入仓代价比较大加工链路复杂
01数据入仓到CK,能提高查询性能，02为了提高查询性能，数据工程
但同时造成数据冗余存储，影响数师需要花大量的人力建立ADS
据就绪时间，花费精力维护导入任层模型，并进行toCK
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
务，数据导入占用CK集群资源
数据治理成本较大查询调优门槛高
03报表看板下线之后，对应的ADS04排序字段的选择，二级索引的建
层和toCK的任务还在一直运行，立，物化视图的建立，hash字
造成计算资源和存储资源的浪费，段的选择对查询性能影响比较大，
大部分需要人工进行沟通但同时门槛较高
公司OLAP分析现状
为了解决当前面临的一些问题，结合业界湖仓一体和数据编织等理念，我
们重构了当前的分析系统，打造了基于Doris湖仓一体分析系统，分析性能
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
达到原来数仓的能力，同时又