Sybase数据仓库解决方案.ppt

Sybase数据仓库解决方案 什么是数据仓库 OLTP与数据仓库系统 为什么需要建设数据仓库 创建数据仓库的必要性 企业数据仓库系统的体系结构 Sybase数据仓库解决方案 数据仓库基础技术架构 WarehouseArchitect PowerCenter工具 什么是IQ 为数据仓库所设计的后关系型数据库 卓越的数据查询速度 : 复杂查询和即席查询(Ad-Hoc): 比传统OLTP DBMS 快 10-1000倍 专利的按列存储技术, bit-map 和 bit-wise 索引技术 超大规模数据仓库VLDW的处理能力: 细粒度数据 已鉴定的 155 TB 裸数据(raw data) 的加载(Sun-IQM 参考架构) 完美地充分利用 64-bit 技术 数据 “压缩机” IQM 存储空间只需要传统RDBM 的 25% 或更少( 有时10% ) I / O 只需要传统RDBM 的 10% 或更少 无限的 CPU 和用户的可扩展性 ( 多节点IQM超过 97%的可扩展性) 标准 SQL : IQM支持所有标准 的SQL应用 快速安装, 管理简单,无须调优 IQ 不适于: 以OLTP为核心的应用 性能基准测试架构 性能基准测试报告 Sybase-Sun数据仓库参考架构 服务器配置 节点A：Sun Fire F6800（24 CPU、1.2G Hz、96G RAM） 节点B：Sun Fire F6800（24 CPU、1.2G Hz、48G RAM） 数据库 事实表的总行数达到一万亿行，经过验证最大的数据库。 深度数据存储及压缩比例 155TB的原始数据 存储在数据仓库中占用55TB的存储空间 压缩比55：155=1：2.8 数据加载：每分钟2千7百万行 响应时间：多表连接查询5-500秒 数据存储：传统关系型数据库 传统关系型数据库查询 数据存储：ASIQ ASIQ查询 数据存储：ASIQ 仅存储索引有效节约存储空间 无处不索引 索引即数据 数据压缩技术（通常达到原始数据的70-75%） 数据存储：ASIQ ASIQ索引的特点 索引即是数据 没有索引和数据的分别 任何一列可以建立多个索引 系统保证至少会存在一个索引（FP） 索引的选择和设计主要基于： 数据的级数（离散值的个数） 在查询中的使用方式 和SQL语句的顺序无关 索引的种类 Fast Projection Index(FP) 缺省索引，对裸数据进行压缩 Low Fast index(LF) Bit map索引,低基数数据 (小于1500 ) High Non Group Index(HNG) Bit-wise索引,用于聚合查询和范围搜索,sum(),avg() High Group index(HG) G-Array索引,Primary Key,UNIQUE, Join column Compare index (CMP) 同一表中两个列的比较操作 (Expenses Revenue) Word index (WD) 字符串搜索,char(),varchar(),long varchar() Date(DATE) Datetime(DTTM) Time(TIME) FP索引的三种内部形态 根据数据级数特征，IQ自动选择 FP中最合适的一种表现形式 If 级数 65536 FP index If 级数 256 FFP Index (Fast-Fast Projection) If 级数Between 256 and 65536 FFFP Index ( Fast-Fast-Fast Projection) FP索引方式一:FP Index 该列的级数超过65536 原始数据在磁盘上压缩存储 FP索引方式二:FFP Index 列级数256 内部生成一个单字节的lookup表 不仅拥有较好查询效率，同时得到高效压缩 FP索引方式三:FFFP Index 列的级数界于256和65536之间 系统内建一个双字节的lookup表 LP索引 Bit map索引 列级数1500 查询时只需处理相应的位，提高查询性能 HNG索引 高基数Bit-Wise索引 Bit-Wise Index 数据按照二进制存储 垂直分布和处理 Sybase的专利技术 使用最佳范围 高基数数据的范围查找（,,between,…..) 数学或函数运算 (sum and average functions) HNG索引 级数任意，数据以二进制形式存在 数据垂直分割-任何一位都可以独立进行内部操作 由于大量的0和1同时出现，因此数据的压缩比较容易实现 例子: SELECT SUM(sales) FROM customer (2 * 64) + (3 * 32) + (2 * 16)