《Hadoop技术原理》课件——13.pptx

Hadoop技术原理

1.Hbase表设计

Hbase表设计

01HBase表设计

RowKey的设计

建表预分区

列簇设计(包括列簇属性设计)

02HBase表设计

设计表需要解决的问题

1.行键结构应该是什么,应该包含什么?

2.该表应有多少列族?

3.哪些数据进入哪个列族?

4.每个列族中有多少列?

5.列名应该是什么?尽管在创建表时不需要定义列名，但是在写入或读取数据时需要知道它们。

6.什么信息应该进入单元?

7.每个单元应存储多少个版本?

03RowKey的设计

热点现象：某个小的时段内，对HBase的读写请求集中到极少数的Region上，导致这些Region所在的

RegionServer处理请求量骤增，负载量明显偏大，而其他的RegionServer明显空闲。

热点现象出现的原因，往往就是因为HBase表设计时，RowKey设计不合理造成的

热点现象解决办法：RowKey的随机散列+创表预分区

04RowKey的设计

RowKey设计原则

·总的原则：避免热点现象，提高读写性能

·长度原则：最大长度64KB,开发通常10~100个字节，建议不超过16字节(hbase每个单元格以

keyvalue进行存储的，因此都会存储rowkey)

·散列原则：将时间上连续产生的rowkey散列化，以避免集中到极少数Region上

·唯一原则：必须在设计上保证rowkey的唯一性

RowKey设计结合业务

·在满足rowkey设计原则的基础上，往往需要将经常用于查询的字段整合到rowkey上，以提高检索查询

效率

05列簇属性

目的

·创建HBase时，就预先根据可能的RowKey划分出多个Region而不是默认的一个，从而可以将后续的

读写操作负载均衡到不同的Region上，避免热点现象

原则：

·HBase表的预分区需要紧密结合业务场景来选择分区的key值，每个region都有一个startKey和一个

endKey来表示该region存储的rowKey范围。

06列簇属性

方式(四种):

·createns1:t1,f1,SPLITS=[10,20,30,40]

·createt1’,f1,SPLITS_FILE=splits.txt,OWNER=johndoe其中splits.txt文件内容是每行一

个rowkey值

·createt1,f1,{NUMREGIONS=15,SPLITALGO=HexStringSplit}

·JavaAPI

weiboContentTbl.addFamily(cf)

valsplits=Array(Bytes.toBytes(10000),Bytes.toBytes(20000),

Bytes.toBytes(30000),Bytes.toBytes(40000),

Bytes.toBytes(50000),Bytes.toBytes(60000)

)

admin.createTable(weiboContentTbl,splits)

07列簇属性

hbase(main):021:0describet1

DESCRIPTIONENABLED

t1,{NAME=f1,DATA_BLOCKENCODING=NONE,Btrue

LO0MFILTER=ROW,REPLICATIO