Alluxio AI:新一代AI_ML训练中台的数据IO解决方案.pdf
2024企业信息安全峰会大会以“直面信息安全挑战,创造最佳实践”为主题,聚焦企业信息安全技术与实践等热点话题,致力于推进企业信息安全体系建设,加强企业信息安全管理,助推企业信息安全生态圈的健康发展。
Alluxio下一代高性能数据访问平台
2024企业信息安全峰会大会以“直面信息安全挑战,创造最佳实践”为主题,聚焦企业信息安全技术与实践等热点话题,致力于推进企业信息安全体系建设,加强企业信息安全管理,助推企业信息安全生态圈的健康发展。
Alluxio核心研发工程师——麦嘉铭
2024企业信息安全峰会大会以“直面信息安全挑战,创造最佳实践”为主题,聚焦企业信息安全技术与实践等热点话题,致力于推进企业信息安全体系建设,加强企业信息安全管理,助推企业信息安全生态圈的健康发展。
现状:纷繁复杂的数据平台
大数据/AI之路的架构演进
混合异构(Hybrid)
混合云化部署
将需要弹性伸缩的负载和数据
同置解耦
迁移进公有云或者是私有云
(Co-located)(Disaggregated)
支持更多计算框架
2024企业信息安全峰会大会以“直面信息安全挑战,创造最佳实践”为主题,聚焦企业信息安全技术与实践等热点话题,致力于推进企业信息安全体系建设,加强企业信息安全管理,助推企业信息安全生态圈的健康发展。
计算引擎HDFS在同一个集群上实现计算引擎对应用透明,充分支持Presto,
紧密耦合在一起与HDFS的解耦
Spark,Impala,TensorFlow,
PyTorch…
向对象存储过渡
MR/HiveSpark/Presto
HDFS
HDFS允许从传统大数据存储向对象
存储过渡
分割的数据世界
2024企业信息安全峰会大会以“直面信息安全挑战,创造最佳实践”为主题,聚焦企业信息安全技术与实践等热点话题,致力于推进企业信息安全体系建设,加强企业信息安全管理,助推企业信息安全生态圈的健康发展。
数据系统日益丰富业务团队对数据统一访存储与计算分离的
数据获取的碎片化问的强烈要求