面向大规模向量数据的云原生存储解决方案-2024大数据大模型峰会.pdf

⾯向⼤规模向量数据的云

原⽣存储解决⽅案

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

徐冬-Zilliz

DataFunCon#2024

个⼈介绍

•Zilliz⾸席⼯程师

•⼤数据系统⼯程师，ApacheHiveHadoop贡献者

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•前阿⾥⾼级专家

关于Zilliz

•全球第⼀款向量数据库•向量数据库云服务

•⾼性能和⾼吞吐•超⾼性能

•线性扩展•全托管

•⾼度可定制

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•模型编排

•⼤模型缓存

Contents

⽬录

向量数据库

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

典型⽤例

存储解决⽅案

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

向量数据库

为AI打造的⾮结构化数据解决⽅案

嵌⼊

•数据的向量表达

•⽆监督特征抽取

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•语义相似性度量

ANNSearch

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

向量存储

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

向量存储是AI系统的核⼼组件

为什么不使⽤向量索引库？

•向量索引库没有完备的数据库功能

•数据更新

•“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

条件查询和分组查询

•数据类型⽀持和函数⽀持

•向量索引库使⽤⻔槛⾼

•部署

•管理：监控、备份

•向量索引库⽆法多机扩展

为什么不使⽤传统数据库？

•向量索引能⼒

•复杂向量操作

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•多向量查询

•混合查询

•⾮结构化存储挑战

向量数据库的关键指标

•查询性能-延迟、吞吐和召回率

•成本-存储密度、压缩编码

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•功能-混合查询