Greenplum数据库最佳实践教程.docx
文本预览下载声明
??介绍
本文介绍Pivotal Greenplum Database数据库(以下简称:Greenplum数据库,或GPDB)的最佳实践。
最佳实践是指能持续产生比其他方法更好结果的方法或者技术,它来自于实战经验,并被证实了遵循这些方法可以获得可靠的预期结果。本最佳实践旨在通过利用所有可能的知识和技术为正确使用GPDB提供有效参考。
本文不是在教您如何使用Greenplum数据库的功能,而是帮助您在设计、实现和使用Greenplum数据库时了解需要遵循哪些最佳实践。关于如何使用和实现具体的Greenplum数据库特性,请参考?http://gpdb.docs.pivotal.io?上的Greenplum数据库帮助文档以及??上的Sandbox和实践指南。
本文目的不是要涵盖整个产品或者产品特性,而是概述GPDB实践中最重要的因素。本文不涉及依赖于GPDB具体特性的边缘用例,后者需要精通数据库特性和您的环境,包括SQL访问、查询执行、并发、负载和其他因素。
通过掌握这些最佳实践知识,会增加GPDB集群在维护、支持、性能和可扩展性等方面的成功率。
第一章?最佳实践概述
本部分概述了Greenplum数据库最佳实践所涉及的概念与要点。
数据模型
GPDB 是一个基于大规模并行处理(MPP)和无共享架构的分析型数据库。这种数据库的数据模式与高度规范化的事务性SMP数据库显著不同。通过使用非规范化数据库模式,例如具有大事实表和小维度表的星型或者雪花模式,GPDB在处理MPP分析型业务时表现优异。
跨表关联(JOIN)时字段使用相同的数据类型。
详见数据库模式设计(后续章节)
堆存储和追加优化存储(Append-Optimized,下称AO)
若表和分区表需要进行迭代式的批处理或者频繁执行单个UPDATE、DELETE或INSERT操作,使用堆存储。
若表和分区表需要并发执行UPDATE、DELETE或INSERT操作,使用堆存储。
若表和分区表在数据初始加载后更新不频繁,且仅以批处理方式插入数据,则使用AO存储。
不要对AO表执行单个INSERT、UPDATE或DELETE操作。
不要对AO表执行并发批量UPDATE或DELETE操作,但可以并发执行批量INSERT操作。
详见堆存储和AO存储(后续章节)
行存储和列存储
若数据需要经常更新或者插入,则使用行存储。
若需要同时访问一个表的很多字段,则使用行存储。
对于通用或???混合型业务,建议使用行存储。
若查询访问的字段数目较少,或者仅在少量字段上进行聚合操作,则使用列存储。
若仅常常修改表的某一字段而不修改其他字段,则使用列存储。
详见行存储和列存储(后续章节)
压缩
对于大AO表和分区表使用压缩,以提高系统I/O。
在字段级别配置压缩。
考虑压缩比和压缩性能之间的平衡。
详见压缩(后续章节)
分布
为所有表定义分布策略:要么定义分布键,要么使用随机分布。不要使用缺省分布方式。
优先选择可均匀分布数据的单个字段做分布键。
不要选择经常用于 WHERE 子句的字段做分布键。
不要使用日期或时间字段做分布键。
分布键和分区键不要使用同一字段。
对经常执行JOIN操作的大表,优先考虑使用关联字段做分布键,尽量做到本地关联,以提高性能。
数据初始加载后或者每次增量加载后,检查数据分布是否均匀。
尽可能避免数据倾斜。
详见分布(后续章节)
内存管理
设置?vm.overcommit_memory?为 2
不要为操作系统的页设置过大的值
使用?gp_vmem_protect_limit?设置单个节点数据库(Segment Database)可以为所有查询分配的最大内存量。
不要设置过高的?gp_vmem_protect_limit?值,也不要大于系统的物理内存。
gp_vmem_protect_limit?的建议值计算公式为: (SWAP + (RAM * vm.overcommit_ratio)) * 0.9 / number_Segments_per_server
使用?statement_mem?控制节点数据库为单个查询分配的内存量。
使用资源队列设置队列允许的当前最大查询数(ACTIVE_STATEMENTS)和允许使用的内存大小(MEMORY_LIMIT)。
不要使用默认的资源队列,为所有用户都分配资源队列。
根据负载和时间段,设置和队列实际需求相匹配的优先级(PRIORITY)。
保证资源队列的内存配额不超过?gp_vmem_protect_limit。
动态更新资源队列配置以适应日常工作需要。
详见内存和负载管理(后续章节)
分区
只为大表设置分区,不要为小表设置分区。
仅在根据查询条件可以实现分区裁剪时使用分区表。
建议优先使用范围 (Range) 分区,否则使用列表 (Lis
显示全部