Greenplum数据库最佳实践教程.docx

??介绍 本文介绍Pivotal Greenplum Database数据库（以下简称：Greenplum数据库，或GPDB）的最佳实践。 最佳实践是指能持续产生比其他方法更好结果的方法或者技术，它来自于实战经验，并被证实了遵循这些方法可以获得可靠的预期结果。本最佳实践旨在通过利用所有可能的知识和技术为正确使用GPDB提供有效参考。 本文不是在教您如何使用Greenplum数据库的功能，而是帮助您在设计、实现和使用Greenplum数据库时了解需要遵循哪些最佳实践。关于如何使用和实现具体的Greenplum数据库特性，请参考?http://gpdb.docs.pivotal.io?上的Greenplum数据库帮助文档以及??上的Sandbox和实践指南。 本文目的不是要涵盖整个产品或者产品特性，而是概述GPDB实践中最重要的因素。本文不涉及依赖于GPDB具体特性的边缘用例，后者需要精通数据库特性和您的环境，包括SQL访问、查询执行、并发、负载和其他因素。 通过掌握这些最佳实践知识，会增加GPDB集群在维护、支持、性能和可扩展性等方面的成功率。 第一章?最佳实践概述 本部分概述了Greenplum数据库最佳实践所涉及的概念与要点。 数据模型 GPDB 是一个基于大规模并行处理(MPP)和无共享架构的分析型数据库。这种数据库的数据模式与高度规范化的事务性SMP数据库显著不同。通过使用非规范化数据库模式，例如具有大事实表和小维度表的星型或者雪花模式，GPDB在处理MPP分析型业务时表现优异。 跨表关联(JOIN)时字段使用相同的数据类型。 详见数据库模式设计（后续章节) 堆存储和追加优化存储(Append-Optimized，下称AO) 若表和分区表需要进行迭代式的批处理或者频繁执行单个UPDATE、DELETE或INSERT操作，使用堆存储。 若表和分区表需要并发执行UPDATE、DELETE或INSERT操作，使用堆存储。 若表和分区表在数据初始加载后更新不频繁，且仅以批处理方式插入数据，则使用AO存储。 不要对AO表执行单个INSERT、UPDATE或DELETE操作。 不要对AO表执行并发批量UPDATE或DELETE操作，但可以并发执行批量INSERT操作。 详见堆存储和AO存储（后续章节) 行存储和列存储 若数据需要经常更新或者插入，则使用行存储。 若需要同时访问一个表的很多字段，则使用行存储。 对于通用或???混合型业务，建议使用行存储。 若查询访问的字段数目较少，或者仅在少量字段上进行聚合操作，则使用列存储。 若仅常常修改表的某一字段而不修改其他字段，则使用列存储。 详见行存储和列存储（后续章节) 压缩 对于大AO表和分区表使用压缩，以提高系统I/O。 在字段级别配置压缩。 考虑压缩比和压缩性能之间的平衡。 详见压缩（后续章节) 分布 为所有表定义分布策略：要么定义分布键，要么使用随机分布。不要使用缺省分布方式。 优先选择可均匀分布数据的单个字段做分布键。 不要选择经常用于 WHERE 子句的字段做分布键。 不要使用日期或时间字段做分布键。 分布键和分区键不要使用同一字段。 对经常执行JOIN操作的大表，优先考虑使用关联字段做分布键，尽量做到本地关联，以提高性能。 数据初始加载后或者每次增量加载后，检查数据分布是否均匀。 尽可能避免数据倾斜。 详见分布（后续章节) 内存管理 设置?vm.overcommit_memory?为 2 不要为操作系统的页设置过大的值 使用?gp_vmem_protect_limit?设置单个节点数据库（Segment Database）可以为所有查询分配的最大内存量。 不要设置过高的?gp_vmem_protect_limit?值，也不要大于系统的物理内存。 gp_vmem_protect_limit?的建议值计算公式为： (SWAP + (RAM * vm.overcommit_ratio)) * 0.9 / number_Segments_per_server 使用?statement_mem?控制节点数据库为单个查询分配的内存量。 使用资源队列设置队列允许的当前最大查询数（ACTIVE_STATEMENTS）和允许使用的内存大小（MEMORY_LIMIT）。 不要使用默认的资源队列，为所有用户都分配资源队列。 根据负载和时间段，设置和队列实际需求相匹配的优先级（PRIORITY）。 保证资源队列的内存配额不超过?gp_vmem_protect_limit。 动态更新资源队列配置以适应日常工作需要。 详见内存和负载管理（后续章节) 分区 只为大表设置分区，不要为小表设置分区。 仅在根据查询条件可以实现分区裁剪时使用分区表。 建议优先使用范围 (Range) 分区，否则使用列表 (Lis