文档详情

基于存储的实时数仓架构在抖音的应用.pptx

发布：2024-08-29约小于1千字共28页下载文档

文本预览下载声明

;存储实时数仓架构背景;01存储实时数仓架构背景;;Flink数仓问题与挑战;?标与愿景;02存储实时数仓架构体系;存储实时数仓架构;;?站式研发平台;调度引擎挑战;;;;;03存储实时数仓架构实践与收益;;;内部运营场景Flink链路;内部运营场景存储链路;抖?C端实时榜单解决?案;;抖?实时榜单解决?案;;;04存储实时数仓未来展望;;

显示全部

相似文档

2024基于SelectDB 的实时数仓平台构建.docx 基于SelectDB的实时数仓平台构建 2024 目录 01 02 基于CDP的旧实时数仓面临的困难与挑战基于SelectDB的解决方案未来展望 01 基于CDP的旧实时数仓 实时计算：持续、低时延、事件触发的计算作业实时数据实时计算面对的数据是实时且流式的，数据按照时间发实时数据实时计算面对的数据是实时且流式的，数据按照时间发生顺序被实时计算程序订阅和消费持续计算触发源为无界流式数据，一旦有新的流数据进入实时计算系统，它就立刻发起并进行一次计算任务，因此整个过程是持续进行的流处理的计算结果可以同流式数据一样，持续的写入目的数据存储实时数据集成维度
2025-05-08 约3.7千字 27页立即下载
中通快递（童孝天）：中通快递基于SelectDB实时数仓的应用实践.pdf 4 2 0 2 a i s A t i m m4 u2 S0 s2 i 中通快递基于SelectDB的应用实践 ra oi Ds A t i m m4 u2 S0 童孝天高级研发工程师s2 i ra oi Ds A t i m m u S s i r
2025-01-20 约4.52万字 20页立即下载
中通快递基于 SelectDB 实时数仓的应用实践-2024 Apache Doris Summit 峰会.pdf 中通快递基于SelectDB的应用实践 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。童孝天高级研发工程师目录01背景介绍 02应用实践 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场
2025-01-06 约1.26万字 20页立即下载
Apache Flink X Apache Doris：构建极速易用的实时数仓架构.pdf Apache Flink X Apache Doris 构建极速易用的实时数仓架构 How to build an extremely fast and easy-to-use real-time data warehouse 王磊 | SelectDB 资深大数据研发专家个人介绍王磊 Apache Doris Contributor 、阿里云 MVP；超10年大数据领域工作经验，有PB级数据处理和分析经验；人气技术畅销书《图解 Spark 大数据快速分析实战》、《offer
2022-12-15 约4.84万字 36页立即下载
哪吒科技：SelectDB 实时数仓在智慧港口中的应用实践.pptx 哪吒科技:SelectDB实时数仓在智慧港口中的应用实践邓宇超哪吒科技数据平台负责人邓宇超哪吒科技-数据平台负责人曾就职于趣头条、观安信息丰富的大数据开发及架构经验分享嘉宾-哪吒科技 01哪吒科技数仓发展历程 02实时数仓技术选型与架构 03实时数仓在智慧港口的实战应用 04收益与展望目录 01 哪吒科技数仓发展历程南通扬州湖州岳阳九江长沙安吉厦门国际货柜、海润码头汕头深圳 1.1哪吒科技业务介绍-市场能力 9000万TEU 30%
2025-03-05 约6.36千字 30页立即下载
实时数仓案例集合.pdf 实时数仓案例集合 1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的求越来越迫切，需 实时数仓的能力来赋能。传统离线数仓的数据时效性是T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性求不高的场景，对于实效性求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。 2.实时
2025-03-04 约5.88万字 79页立即下载
实时数仓案例集合.pdf 实时数仓案例集合目录 实时数仓案例集合1 1.滴滴顺风车实时数仓案例3 2,快手实时数仓场景化案例10 3.有赞实时数仓案例39 4.腾讯全场景实时数仓建设案例47 1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的挑赋。传统离线数仓的数据时效性是T+1, 调度频率以天为单位，无去支掌实时场景的数据需求。即使将调度频率设置成〃时，也只解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无去优雅的支学。因此实时使用数据的问题必须得到有效解决。 2.实时技术日趋成熟实时计算框架已经经历了三代发展，分别是：Storm、SparkSt
2025-04-24 约6.31万字 63页立即下载
2024实时数仓选型指南.docx 实时数仓选型指南 2024 实时数仓选型指南 实时数仓选型指南序言 实时数仓选型指南 实时数仓选型指南概念综述 实时数仓选型指南 实时数仓选型指南与传统数仓的比较 实时数仓选型指南 实时数仓选型指南传统数据仓库实时数据仓库仅用于战略决策用于战略和战术决策历史数据定期更新实时数据更新用于检查现有流程和模式的局限性报告灵活的临时报告和机器建模，以发现新的洞察力难以衡量的结果用对业务的影响来衡量结果可以接受每天、每月或每周的数据并发可以接受分钟、秒级甚至毫秒级的数据 实时数仓选型指南 实时数仓选型指南核心架构与技术 1 实时数仓选型指南 实时数仓选型指南 2 实时数
2025-04-26 约小于1千字 81页立即下载
中信证券（余子安）：中信证券基于SelectDB的实时数仓平台构建.pdf 4 2 0 2 a i s A t i m m4 u2 S0 s2 i 基于SelectDB的实时数仓平台构建 ra oi Ds A t i m m4 u2 S0 s2 i ra oi Ds A t i m m u S s i r
2025-01-24 约6.22万字 27页立即下载
中信证券基于 SelectDB 的实时数仓平台构建-2024 Apache Doris Summit 峰会.pdf 基于SelectDB的实时数仓平台构建 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。目录01基于CDP的旧实时数仓 02面临的困难与挑战 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场
2025-01-07 约1.5万字 27页立即下载
哪吒科技：SelectDB 实时数仓在智慧港口中的应用实践-2024 Apache Doris Summit 峰会.pdf 哪吒科技:SelectDB实时数仓在智慧港口中的应用实践 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。邓宇超哪吒科技数据平台负责人分享嘉宾-哪吒科技 DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、Sel
2025-01-06 约2.43万字 30页立即下载
基于企业数仓的智能聊天推荐方法、系统、设备及存储介质.pdf (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113343116 A (43)申请公布日 2021.09.03 (21)申请号 202110763113.7 G06Q 50/00 (2012.01) (22)申请日 2
2023-06-19 约1.67万字 14页立即下载
实时数仓Hologres技术实战一本通.docx 卷首语阿里云10+资深技术专家深度解析，精心打磨内容，手把手教学。融合实时大屏、实时报表、精细化运营、OLAP迁移、数据服务等多个场景。 8个板块，20+内容，从零开始，入门到精通，快速助力搭建企业级一站式实时数仓。目录性能测与调优5 实战：基于TPCH的性能测试
2025-06-03 约9.21万字 168页立即下载
2024基于storm的实时计算架构.pptx 实时流计算应用开发框架-天罡;提纲;1.1业务背景;1.2离线计算vs.流计算;1.3数据分析演进趋势;2.1业界流计算引擎;2.2storm介绍;2.3storm架构;3.1 阿里巴巴业务需求特征;3.2天罡-产品定位;3.3天罡Features;3.4天罡-核心概念;4.1天罡-技术方案;4.2天罡-功能模块划分;4.3天罡-功能模块关系;4.4Messageextractservice;4.5Messagestorecenter;4.6Enginestatestorage;4.7
2025-04-27 约小于1千字 30页立即下载
基于HBase的监控数据多级存储及实时性技术的深度剖析与应用探索.docx 基于HBase的监控数据多级存储及实时性技术的深度剖析与应用探索一、引言 1.1研究背景与意义随着大数据时代的到来，各领域产生的数据量呈爆炸式增长，监控数据作为其中重要的组成部分，在众多行业中扮演着关键角色。以互联网行业为例，大型互联网公司的服务器集群每天会产生海量的监控数据，涵盖服务器的CPU使用率、内存占用、网络流量等关键指标。这些数据的有效处理对于保障系统稳定运行、提升用户体验至关重要。在工业领域，智能制造工厂中大量传感器实时采集设备的运行状态、生产参数等监控数据，利用这些数据能够实现生产过程的优化、设备故障的预测性维护，从而提高生产效率、降低成本。在城市交通监控方面，遍布城市
2025-05-27 约3.96万字 28页立即下载