Hadoop配置与管理 Hadoop配置与管理 hadoop开发入门教程48---HBase编程实践及案例分析(8).ppt

* * * * * Hadoop大数据解决方案进阶应用 Hadoop 讲师：迪伦（北风网版权所有） HBase编程实践及案例分析 (8) Hbase案例：OpenTSDB 课程目标 OpenTSDB核心概念 Data Points(time, value) Metricsproc.loadavg.1m Tagshost=web42 pool=static Metric + Tags = 时间序列 Order of magnitude: 106 time series, 1012 data points OpenTSDB的最佳实践 宽行使得查询效率更高 按照时间范围来切分行，比如每10m 每个KeyValue行存储更多的数据 使用async hbase + Netty，而不要在使用HTable/HTablePool 使用定长的key。对于变长的key，scan的效率很低 RegionServer管理的region数量不宜过多。Region恢复成本高 使用异步处理 OpenTSDB能解决的问题 如何高效的在Hbase里面存储时间序列数据？ 在没有同步写的情况下如何启动并发写？ 如何在Hbase里存储数据的时候节省磁盘/内存空间？ 时间序列数据在Hbase的存储 最简单的设计：1个TS，单一的KeyValue 支持时间范围扫描 时间序列数据在Hbase的存储 在RowKey前面添加metric方便定位数据 问题：在行键中存储大量文本造成空间浪费 时间序列数据在Hbase的存储 创建一个独立的表来保存metrics和tags的数据，并分配唯一ID 时间序列数据在Hbase的存储 通过在同一行存储多个连续的数据点，减少行的数量 更少的行=对指定行更快的查询 时间序列数据在Hbase的存储 时间序列数据在Hbase的存储 什么时候开始新的行？ 以10分钟为界限分行 时间序列数据在Hbase的存储 设置宽行来提升查询速度 时间序列数据在Hbase的存储 时间序列数据在Hbase的存储 欢迎访问我们的官方网站 * * * * * * * * * * * * * * * * * * * * *