链表---上海交通大学计算机科学与工程系(CSE).ppt

HBase Shell 启动 bin/hbase shell 主要命令 create 创建表 describe 描述表 enable/disable 表激活/取消 drop 删除表 get/put 表读写 HBase API HBaseConfiguration addResource(…) HTable put(…) get(…) ResultScanner next(…) HBase与HDFS 如果使用HDFS需要配置RegionServer，定位存储位置为HDFS服务 HBASE_ROOT/conf/hbase-site.xml 定义hbase.rootdir值，指向HDFS服务,如：hdfs://hdfs_server:port/hbase_root HBase与其它文件系统 HBase可以使用其它分布式文件系统 mount至挂载点，如/mnt/mydfs 定义hbase.rootdir值，指向挂载点，如 file:///mnt/mydfs/hbase_root 每个表都有个名字，也称为标签（域，讨论范围） 每个表有若干行，行有行键（也算是标识） * * * * ‘族’通过对表的管理操作进行定义 加入“标签”不需要管理权限 * 区域的分布使得负载得以分布 * * HBASE 内容提要 为什么需要HBase HTable的逻辑组织 HBase的运行机制 HBase与 HDFS HBase的对外接口 引入HBASE的原因 数据库系统已无法适应大型分布式数据存储的需要 改良的关系数据库（副本、分区等）难于安装与维护 关系模型对数据的操作使数据的存贮变得复杂 引入HBASE的原因 HBASE从设计理念上就为可扩展做好了充分准备 空间的扩展只需要加入存储结点 使用‘表’的概念，但不同于关系数据库，不支持SQL 实质上是一张极大的、非常稀疏的，存储在分布式文件系统上的表 HBase历史 2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起 2008年成为Apache Hadoop的一个子项目 现已作为产品被使用 WorldLingo S OpenPlaces Yahoo Adobe HBASE用例－WebTable 存储抓取网页和相关信息 每个页面对应一行，是个有百万行的大表 要基于此表进行分析与解析并由搜索引擎对关键字进行索引 表需要并发地被众多网页抓取程序随机地访问以及更新数据 表内容也要作为网页实时缓存被大量用户随机访问 逻辑视图 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 数据模型－行 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 行键 列 列 数据模型－行 每行数据有一可排序的关键字和任意列项 字符串、整数、二进制串甚至与串行化的结构都可以作为行键 表按照行键的“逐字节排序”顺序对行进行有序化处理 表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同 数据模型－行 可以只对一行上“锁” 对行的写操作是始终是“原子”的 数据模型－列 列必须用‘族’(family)来定义 任意一列有如下形式 “族：标签” 其中，族和标签都可为任意形式的串 物理上将同“族”数据存储在一起 数据可通过时间戳区分版本 数据模型－列 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 族 标签 物理视图 Row Key Time Stamp Column: Contents Cn.www T6 “html..” T5 “html..” T3 “html..” Row Key Time Stamp Column: Anchor Cn.www T9 Anchor: CNN T5 Anchor:my.look.ca CNN.COM Row Key Time Stamp Column: mime Cn.www T6 text/html