Informix数据压缩和存储优化组件.ppt

Informix数据压缩和存储优化组件 目前存在问题 大量的历史数据需要保存 不断增加的存储成本 大数据量访问的性能问题 当前信息技术存储趋势 真实世界里存储费用的例子 假设存储的收费标准是每月每8G字节25美元 假设10T字节的数据被用于数据库、备份、数据复制站点等 每年的数据存储费用= 37.5万美元 如果存储优化特性可以节省40%的存储空间，每年您将节省15万美元 行(row)压缩概念 压缩算法在整个数据表(table)中寻找重复的模式(pattern) 当模式被找到时，字符串被一个12比特(bit)的符号替代 符号被存储于一个数据字典中以供快速查找 在数据页(page)中数据是被压缩的 (不管是在硬盘上还是在缓冲池里) 显著的节省了输入输出的带宽– 更好的性能 显著地节省了内存空间– 更有效的内存使用 一些中央处理器(CPU)的额外开销 行(row)数据被处理前必须先被解压缩 使用压缩数据字典(dictionary)对数据行(row)进行压缩 数据字典包含表里数据行的重复出现的信息 压缩的候选对象可跨越列(column)的边界或在列里 节省存储空间 可被压缩的表格被压缩后通常能节省60%到80%的空间 整个数据库的存储空间将被节省40%到50% 这意味着只要50%的磁盘空间就能够支持IDS11数据库! 性能上的收益 使用压缩后性能可被改进 有了压缩后很多查询将因为更少的I/O而受益 消耗更多的中央处理器(CPU)资源 – 绝大多数的用户并不一直消耗100%的CPU资源 实验室测试结果显示输入输出吞吐量改进了30-40% 很多utility (例如备份和恢复) 将变得更快 在一些案例中可达到原来2倍的速度，因为现在数据库只有原来的一半那么大 对数据表进行压缩 存储优化操作 repack, repack_offline 在数据表(table)或分片(fragment)内部移动数据行(row)，从而将未被使用的空间整合到数据表(table)或分片(fragment)的尾部 “repack” – 数据表可被存取 “repack_offline” – 数据表被X锁锁定，不能进行存取操作 shrink 将数据表(table)或分片(fragment)尾部未被使用的空间返回给数据库空间(dbspace) 通常在运行repack后运行 不能被压缩的对象 不以行(row)形式存储的数据 (例如blobs) 索引 临时表 Catalog表 Dictionary Partitions 在下列数据库中的表: Sysmaster Sysutils Sysuser Syscdr Syscdcv1 HDR, ER, CDC (DataMirror) 与压缩 HDR、ER、CDC都支持压缩的数据表(table) HDR 在次节点(seconary)上压缩数据表当且仅当这些数据表在主节点(primary)上被压缩 ER 源节点和目标节点的压缩状态是独立的，用户可进行配置 CDC 目标节点的压缩取决于目标节点的数据库支持的特性和用户的配置 Admin API(管理应用编程接口) 所有的压缩和存储优化操作都可通过IDS Admin API内建的用户定义例程(UDR)调用 execute function task(…); execute function admin(…); 示例 execute function task(“table compress repack shrink”, “table_name”, “database_name”, “owner_name”); OAT提供了用于压缩的图形化界面 OAT支持远程执行(数据库管理员不用直接登录到目标机器上) 开放管理工具(Open Admin Tool)的接口 开放管理工具(Open Admin Tool)的接口 开放管理工具(Open Admin Tool)的接口 自动压缩 外部的压缩预测工具 总 结 通过IDS11的压缩功能进行的存储优化可以为您节省40-50%的空间 对于存取大量数据的负载，压缩还改进了性能 不仅在线的数据库使用的存储空间变少了,用于备份和灾难恢复的存储空间被节省了一半 在实际客户案例中，存储空间的节省被实现了，性能上的收益也是明显 特别是数据库备份和恢复时间被节省了一半 Here is an example to illustrate the compression. Here we may have a table of component assembly stocking Illustrated here is the fact that IDS 11 can compress substrings of a column (for ex