Greenplum数据库集群的性能监控方案.pptx

Greenplum 数据库集群的性能监控方案 技术创新，变革未来 Greenplum Database 的性能与监控 GPCC 的架构与功能 查询监控 负载管理 运维辅助 Demo ©  PostgreSQL MPP OLAP (Online analytical processing)  (/greenplum-db/gpdb/)  20 2019 2017 GPDB 5 GPDB 6 © 查询为什么跑的慢？慢在什么地方？ 哪些查询占用了最多的CPU/内存/磁盘 IO？ 能否在一个查询消耗过多资源的时候把它终止掉？ 能否让一些特定的查询获得更多的资源？ 哪些表需要进行 VACUUM / ANALYZE？ 系统的内存足够？还是不够？ 。。。 © GPDB CPU/内存/磁盘 Resource Group/Queue的设置 (Workload) VACUUM ANALYZE 数据的分布 优化器和查询计划 © GPDB CPU/内存/磁盘 Resource Group/Queue的设置 (Workload) VACUUM ANALYZE 数据的分布 优化器和查询计划 © © GPDB CPU/内存/磁盘 Resource Group/Queue的设置 (Workload) VACUUM ANALYZE 数据的分布 优化器和查询计划 © 批处理 Query 3 Query 2 Query 1 月度报表 Query 5 Query 4 ETL 作业 Query 8 Query 7 Query 6 CEO的查询 Query 10 Query 9 © GPDB CPU/内存/磁盘 Resource Group/Queue的设置 (Workload) VACUUM ANALYZE 数据的分布 优化器和查询计划 © VACUUM/REINDEX 消除表/索引的膨胀(Bloat) Catalog 表的膨胀严重影响性能 需要在空闲时进行 尽可能经常运行 VACUUM 以避免 VACUUM FULL ANALYZE 收集表的统计数据 影响优化器对执行路径的代价(COST)的估算，进而影响生成的查询计划 建议在空闲时进行 © GPDB CPU/内存/磁盘 Resource Group/Queue的设置 (Workload) VACUUM ANALYZE 数据的分布 优化器和查询计划 © Seg4 PG Seg6 PG Seg5 PG Seg1 PG Seg2 PG Seg3 PG Master PG Master Host Segment Host 1 Segment Host 2 SELECT * FROM my_db; © Seg1 PG Seg2 PG Seg3 PG © Seg1 PG Seg2 PG Seg3 PG © OPTIMIZER=ON (GPORCA) OPTIMIZER=OFF (Postgres query optimizer) © 为 集群提供实时的性能监控 © 主要功能 系统监控 查询监控 负载管理 运维辅助 异常报警 数据加载 用户管理 。。。 © Seg4 PG Seg6 PG Seg5 PG Seg1 PG Seg2 PG Seg3 PG Master PG Master Host Segment Host 1 Segment Host 2 SELECT * FROM my_db; © Seg4 PG Seg6 PG agent Seg5 PG Seg1 PG Seg2 PG Seg3 PG Master PG agent agent GPCC Web Server Master Host Segment Host 1 Segment Host 2 metrics_collector bgworker © 1. 2. 3. © 1. / © 谢谢您的指导 THANK YOU FOR YOUR GUIDANCE