Alluxio：面向 AI 计算的高性能数据访问平台.pdf

云原生大数据AI一体化数据编排平台

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。

-Alluxio在AI/ML场景的应用

张青锋

james.zhang@

云原生大数据AI-技术栈及业务生态

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。

2

云原生大数据AI一体化-Alluxio参考架构

通过Alluxio，利用Alluxio的接口转换能力以及缓存加速能力，解决以往AI和大数据存储之间的割裂，在降低AI和大数据集成成本的同时，

以较低成本让AI的GPU效能发挥最大效果。

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。

3

尝试AI时面临的挑战

GPU短缺GPU使用率低模型上线慢

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。

“我们看到了令人难以置信的重组全球数据中心的订单……需要10年的时间过渡

到基本上回收或回收全球数据中心并将其构建为加速计算(GPU)。-NVIDIA黄仁勋

“GPU目前GPU比毒品更难获得…”-Tesla埃隆·马斯克

4

业务压力复杂而昂贵的解决方案

GPU短缺

・更快的模型开发时间・广泛的数据拷贝任务管理

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推企业信息安全生态圈的健康发展。

・更频繁的模型数据更新GPU利用率低・昂贵的专用存储设备

・更高的准确性和可追溯性・云和基础设施成本失控

・适应快速增长的数据集模型上线慢

5

Alluxio在AI/ML技术栈的架构定位

AI/ML统一编排层

2024企业信息安全峰会大会以“直面信息安全挑战，创造最佳实践”为主题，聚焦企业信息安全技术与实践等热点话题，致力于推进企业信息安全体系建设，加强企业信息安全管理，助推