2024中国系统架构师大会：Alluxio 下一代高性能数据访问平台.pdf
文本预览下载声明
Alluxio下一代高性能数据访问平台
Alluxio核心研发工程师——麦嘉铭
现状:纷繁复杂的数据平台
大数据/AI之路的架构演进
混合异构(Hybrid)
混合云化部署
显示全部
文档详情
相似文档
-
2024中国系统架构师大会：Alluxio 下一代高性能数据访问平台.docx
Alluxio下一代高性能数据访问平台
Alluxio核心研发工程师——麦嘉铭
现状:纷繁复杂的数据平台
大数据/AI之路的架构演进
同置(Co-located
同置
(Co-located)
(Disaggregated)
计算引擎HDFS紧密耦合在一起
计算引擎HDFS紧密耦合在一起
MR/
MR/HiveHDFS
HDFS
混合异构(Hybrid)混合云化部署
将需要弹性伸缩的负载和数据
将需要弹性伸缩的负载和数据迁移进公有云或者是私有云
支持更多计算框架
向对象存储过渡允许从传统大数据存储向对象存储过渡
向对象存储过渡
允许从传统大数据存储向对象
存
-
Alluxio AI高性能数据访问平台-202404.pptx
AlluxioAI高性能数据访问平台AlluxioEnterpriseAI
数据编排平台助力云原生大数据分析和AI计算
人工智能将在2029年左右达到人类智力水平。进一步展望，至2045年，智能技术和人类文明所创造的生物机器智能的能力将被扩大10亿倍。我们正在见证全球性数据中心重组的需求井喷，这场长达十年的对现有数据中心的回收和利用，终将迈向加速计算的转型之旅。——RayKurzweil美国投资人和未来学家——黄仁勋NvidiaCEOAI/ML的竞争对企业至关重要重塑企业数据基础架构更是大势所趋
企业搭建/优化AI高性能数据访问平台所面临的挑战更高的准确性和可追溯性快速增长的数据集更快的模型
-
Alluxio：面向 AI 计算的高性能数据访问平台.pdf
云原生大数据AI一体化数据编排平台
2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。
-Alluxio在AI/ML场景的应用
张青锋
james.zhang@
云原生大数据AI-技术栈及业务生态
2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。
2
云原生大数据AI一体化-Alluxio参考架构
通
-
Alluxio AI高性能数据访问平台-2024大数据大模型峰会.pdf
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
AlluxioAI高性能数据访问平台
AlluxioEnterpriseAI
数据编排平台
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
助力云原生大数据分析和AI计算
企业搭建高性能AI数据平台所面临的挑战
业务压力GPU的烦恼复杂且高昂的解决方案
训练周期短少GPU很稀缺
复杂的数据管理方案
“大模型”与“大数据”两者犹如车之双轮，合力
-
Alluxio助力全球跨境电商构建高性能数据访问平台实战宝典.pdf
2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。
Alluxio助力全球跨境电商
构建高性能数据访问平台
实战宝典
目录
前言03
【韩国本土电商巨头】
Alluxio提升韩国本土电商平台AI训练效率：加速数据访问、GPU利用率、简
化存储管理04
一、关于“韩国头部电商平台”（以下简称“C”）04
二、背景04
三、主要挑战包括05
四、Alluxio的解决方案05
五、紧密合作与优化06
六、价值与收益07
七、后续规划07
2024企业信息
-
下一代高性能D类放大器芯片组.pdf
-
下一代高性能万兆防火墙.pdf
-
2024中国系统架构师大会：一站式向量检索平台.docx
平台介绍
关键场景实践
未来规划与探索
embedding
(-0.4136067032814026,-0.17186740040779114,...,-0.281367795440040)
ANNSEARCH
IVF-FLAT、HNSW、FLAT...
前言
03关键场景实践
04未来规划与探索
数字经济时代的到来，数据正在成为新的自然资源、新的战略资源，
海量数据的内容理解、高效检索成为业务系统的挑战
业务规模
数字经济时代的到来，未来数据量进一步增长：根据IDC的相关预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。预
-
2024中国系统架构师大会：一站式向量检索平台.pdf
embedding
(-0.4136067032814026,-0.17186740040779114,...,-0.281367795440040)
ANNSEARCH
IVF-FLAT、HNSW、FLAT...
数字经济时代的到来，数据正在成为新的自然资源、新的战略资源，
海量数据的内容理解、高效检索成为业务系统的挑战
业务规模
-
2024中国系统架构师大会：数据驱动实时全链路精细化运营实践.docx
SACC广州站/24
中国系统架构师大会
9南京口成都SYSTEMARCHITECTCONFERENCECHINA
9
南京口
成都
上海重庆
上海
架构演进1◎广州南湖假日酒店
架构演进
1◎广州南湖假日酒店
Hadoop
◎
广州云原生架构
广州
云原生架构sacc2015
分布式集群sacc20182024年3月16日
分布式集群
sacc2018
sacc2016
sacc2017sacc2013
sacc2017
sacc2014
数据驱动实时全链路精细化运营实践
广州趣丸网络科技有限公司数据产品经理：谢文恩
SACC
-
2024中国系统架构师大会：数据驱动实时全链路精细化运营实践.pdf
数据驱动实时全链路精细
化运营实践
广州趣丸网络科技有限公司
数据产品经理：谢文恩
主讲人：谢文恩
趣丸网络科技数据产品经理
多年互联网、汽车、泛零售相关大数据系统设
计以及项目实施经验；现负责趣丸集团数据应
用产品体系总体设计，主导趣丸集团智能运营、
标签画像、广告归因、AB测试等数据应用产品
设计与落地。
以上仅做部分展示
数据驱动精细化运营
-
基于GPU高性能计算的下一代高通量DNA序列比对的中期报告.docx
基于GPU高性能计算的下一代高通量DNA序列比对的中期报告
近年来，DNA测序技术快速发展，高通量DNA测序技术的推广和应用，极大地促进了相关领域的发展。但是，高通量DNA测序技术所生成的序列数据量极大，对生物信息学算法和计算硬件的要求也逐渐增加。
在生物信息学领域，序列比对是一个重要的环节。序列比对是指将给定的参考序列和查询序列进行比较，通过寻找它们之间的相似性来确定它们之间的关系。常见的序列比对算法主要分为两类，即局部比对和全局比对。
在本项目中，我们将实现基于GPU高性能计算的下一代高通量DNA序列比对算法。我们将采用Smith-Waterman算法作为局部比对算法，并使用BWA-MEM
-
《二零一六中国系统架构师大会-基于数据驱动的O2O项目运营-JackieX(发布版本)》.pdf
基于数据驱动的O2O项目运营
by JackieX
Outline
Ø 概述
Ø O2O项目需要关注哪些数据
Ø 数据的记录与获取
Ø 可测量的商业模型建立
Ø 数据优化的路径
一 概述：关于我
• 2003年以前7年，Java及.NET程序员，数据库管理员
-
2024中国系统架构师大会：vivo大模型计算集群建设实践.docx
vivo大模型计算集群建设实践
vivoAI架构工程师刘东阳
个人简介
刘东阳
?2018年加入vivoAI研究院
?担任vivoAI计算平台研发工程师，参与平台从0到1建设，目前主要负责大模型训练算力及稳定性建设
目录
CONTENTS
1、算力对大模型训练的重要性
2、大模型训练对计算集群的核心诉求
3、vivo大模型计算集群的整体架构
4、vivo自研蓝心大模型训练的一些心得
算力对大模型训练的重要性
大模型训练需要消耗巨大的算力，算力的不足会影响大模型的迭代升级效率，成为大模型的发展瓶颈。
2020年，OpenAI团队在《Scal
-
2024中国系统架构师大会：打造弹性云应用：多云多 Kubernetes 集群流量方案.docx
打造弹性云应用
多云多Kubernetes集群流量方案
Flomesh高级云原生架构师张晓辉
个人介绍
张晓辉
Flomesh高级云原生架构师/布道师
资深程序员，LFAPAC开源布道师，CNCFAmbassador，云原生社区管委会成员，微软MVP，公众号“云原生指北”作者。
多年的微服务和云原生实践经验，主要工作涉及微服务、容器、Kubernetes、DevOps等。
Agenda
Kubernetes多集群与混合多云
混合多云的驱动因素
网络拓扑
多集群流量管理实践
混合多云的发展趋势
混合多云（HybridMulticloud）是指企业同