hbase在小米中的应用实践.pdf

HBASE AT XIAOMI 小米科技基础平台开发组 大纲  HBase原理简介  HBase在小米的现状  HBase在小米业务的应用  小米对于HBase的重要改进  结构化数据存储服务  将来的工作 HBase原理简介  数据模型  Column, Rowkey, Table HBase原理简介  HBase架构  Region Region Server  (RowKey, CF:Qualifier, Timestamp) = Value HBase原理简介  HBase架构 HBase在小米的现状  集群与业务(截止2014.03.24)  15个HBase集群：9个在线集群、2个离线处理集群、 4个测试集群  服务十多个不同业务  百台机器：每个数据节点24TB  开发与贡献(截止2014.03.24)  源于社区、回馈社区  217个改进，125个被采用 HBase在小米业务的应用  服务十多个不同业务  米聊消息全存储  小米云服务(MiCloud)  短信、通话记录  小米推送服务  选用HBase的原因  水平扩展能力：MiCloud 大数据场景  高可用性：7 * 24 小时服务  灵活的Schema ：业务不断发展也会有修改Schema 需求  多版本特性：追踪米聊消息状态  写性能优化：小米Push推送消息时高吞吐量写  强一致性 HBase在小米业务的应用  配置  控制节点,数据节点 HBase在小米业务的应用  Minos集群部署和监控系统  /xiaomi/Minos  bootstrap/install/start/stop/restart/rolling_update…  集群监控和展示 小米对于HBase的重要改进  写吞吐优化  HLog 旧写模型 WriteHandler WriteHandler …… WriteHandler …… WALEdit WALEdit WALEdit Local Append Buffer WriteHandler之间 WriteHandler : Write to HDFS 抢锁恶性竞争 WriteHandler : Sync HDFS 小米对于HBase的重要改进  写吞吐优化  HLog新写模型 WriteHandler: WriteHandler: WriteHandler: …… …… txid_0 txid_1 txid_n WALEdit WALEdit