基于 Apache Paimon 的实时湖仓架构探索-2024大数据大模型峰会.pdf

基于ApachePaimon的

实时湖仓架构探索

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

钟宇江小米

DataFunCon#2024

Agenda

背景

探索基于Paimon构建近实时的数据湖仓

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

未来展望

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

背景

现状

当前实时湖仓计算框架以Flink+Talos+Iceberg为主

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

现状

当前架构痛点：

实时计算成本高

目前的Iceberg对流计算语义支持有限，数据实时化过程中使用的一些操作所消耗

的计算资源非常大，比如streamjoin、deduplicate和流读changelog等

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

架构复杂，作业稳定性差

比如在一些大数据量Join场景下，需要使用大量Timer来优化延迟关联的情况，

且Flinkstate非常大，还会需要引入KV系统来做补充，逻辑复杂导致稳定性差

存储成本高

实时链路的数据无法在离线链路复用，离线和实时是两套数据，同时还有KV系统

中的数据冗余

典型案例

存在的问题

Flink作业逻辑复杂，状态非常大，

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

稳定性差

HBase/Pegasus成本高，且

Join性能差

对于实时数仓的期待

架构升级：

降低计算成本

希望能将流计算和数据湖仓更好的结合，尽可能减少实时化带来的额外资源消耗

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

简化架构，提升稳定性

希望实时化链路尽可能的简单，减少用户开发负担，同时提升作业稳定性

统一数据链路

尽量避免实时和离线两套链路导致的开发和运维成本，同时减少数据冗余

对于实时数仓的期待

希望能够在界定correctness

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。