分布式数据库Hbase的高可用管理和监控.docx

分布式数据库 Hbase 的高可用管理和监控Apache HBase 的基本知识2006 年 11 月，Google 发表了一篇名为《 BigTable 》论文 , 2007 年 2 月，Hadoop 的开发人员对其进行实现并命名为 HBase。 HBase 是基于 Hadoop 之上的一种新型的基于列存储的开源数据存储架构，用于解决大数据问题，是 Hadoop 的分布式数据库。HBase 现在已经比较成熟，最新的稳定版本是 0.94.x。HBase 已经被很多大公司采用，如 Facebook, Twitter，Adobe, Cloudera, IBM, 等等。HBase 不是传统 RDBMS 意义上的基于列的数据库，而是利用磁盘进行列存储格式的数据库，其优势在于提供基于关键字的特定列和顺序范围的快速访问。HBase 有三个重要的组件：客户端库，一个 master server（可以配置多个备用 master，后文将对此进行详细描述）以及多个 Region Server。Master 负责分配 Region 到各个不同的 Region Server 上，Region Server 负责存储实际的数据。同时，HBase 通过使用 ZooKeeper，一种可靠，高可用，一致性的分布式协同服务来帮助其完成相应的任务。HBase 集群管理员可以通过在系统运行过程中添加和删除 Region Server 节点来调节改变工作负载。HBase 以 HFile 作为存储数据的基本格式，其底层的文件系统默认采用 HDFS。图 1. HBases 基本架构图 1. 显示了不同的组件如 HDFS，Zookeeper 是怎样与 HBase 一起协调工作的。Master Server 负责处理跨 Region Server 的 regions 数据的导入平衡，卸载繁忙的 Region Server 负担，将 region 转移到更空余的 Region Server 上。HBase Master 不负责实际的数据存储，它协调导入平衡，维护集群的状态，维护 schema 的更改和 metadata 元数据操作，如创建表和列族（column families），但从不提供任何数据服务。Region servers 负责加载和维护 region，包括处理对其管理的 region 的所有读写请求，以及 region 大小增长到超过配置阀值的时候对其进行切分。客户端通过与 Zookeeper 通信获取到其需要进行读写操作的 region 所在的 Region Server 之后，将直接与 Region Server 通信，并由 Region Server 处理所有相关的请求。IBM BigInsights 架构中的 HBaseIBM Big Data（大数据）产品 InfoSphereBigInsights 是大数据管理与分析平台， 其底层架构也采用了 Hadoop 和 HBase 对结构化和非结构化数据进行存储和查询。BigInsightsz 集群软件层次中的 HBaseBigInsights 整合了很多已有的 Hadoop 开源组件，如 HDFS, MapReduce, HBase, Zookeeper 等，将它们很好的融入 BigInsights 软件体系，并与其他 BigInsights 的组件一起协同工作在同一个平台上。 HBase 被用作 BigInsights 的存储数据库，Zookeeper 被用作 BigInsights 的服务协同组件。如果要使用 HBase, 我们需要同时安装 Hadoop, Zookeeper, 因为 HBase 采用 Hadoop 作为其文件系统，采用 Zookeeper 作为其服务协同支持。当把 BigInsights 部署到一个集群上时，软件层次的结构如图 2. 所示：图 2. BigInsights 中 Hadoop 开源组件列表HBase 安装和配置BigInsights 产品集成了经过 IBM JDK 编译和一定改进扩展后的 HBase。在 BigInsights 产品的安装过程中可以通过安装界面选择和配置 HBase, 配置内容包括指定 HBase 安装路径，日志目录，指定集群中 HBase Master 和 HBaseRegionservers 节点以及服务端口。HBase 的二进制软件包默认安装和配置在 BigInsights 集群的所有节点上，也就是说安装完 BigInsights 以后的每个 BigInsights 节点都可以作为 HBase 的客户端使用。在安装 BigInsights 之前，需要从解压以后的根目录下运行 start.sh 脚本，然后在浏览器中输入 URL http://your-se