文档详情

hive的介绍.pptx

发布:2017-06-13约5.2千字共25页下载文档
文本预览下载声明
HIVE的介绍 2 目录 Hive 简介 hive是一个基于Hadoop的数据仓库系统,能够很方便地对存储于Hadoop兼容文件系统中的大数据集进行简单地数据汇总、即席查询、分析等处理。hive提供了一种机制,使用一种类似于SQL的语言(称为HiveQL)来组织数据和对数据进行查询。 同时,这种语言也允许传统的map/reduce程序员以插件的形式编写自定义的mapper和reducer来处理用HiveQL不方便或无法编写的逻辑。 3 目录 4 Hive的技术架构 5 服务端组件 Driver组件:该组件包括Complier、Optimizer和Executor,它的作用是将我们写的HiveQL(类SQL)语句进行解析、编译优化,生成执行计划,然后调用底层的mapreduce计算框架。 Metastore组件:元数据服务组件,这个组件存储hive的元数据,hive的元数据存储在关系数据库里,hive支持的关系数据库有derby、mysql。元数据对于hive十分重要,因此hive支持把metastore服务独立出来,安装到远程的服务器集群里,从而解耦hive服务和metastore服务,保证hive运行的健壮性,这个方面的知识,我会在后面的metastore小节里做详细的讲解。 Thrift服务:thrift是facebook开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发,hive集成了该服务,能让不同的编程语言调用hive的接口。 6 客户端组件 CLI:command line interface,命令行接口。 Thrift客户端:上面的架构图里没有写上Thrift客户端,但是hive架构的许多客户端接口是建立在thrift客户端之上,包括JDBC和ODBC接口。 WEBGUI:hive客户端提供了一种通过网页的方式访问hive所提供的服务。这个接口对应hive的hwi组件(hive web interface),使用前要启动hwi服务。 7 Hive执行流程 8 Hive的SQL用MR实现 9 pageid age 1 25 2 25 1 32 2 25 pageid age count 1 25 1 2 25 2 1 32 1 pv_users Select pageid,age,count(1) from pv_users group by pageid,id; MR实现过程 10 pageid age 1 25 2 25 pageid age 1 32 2 25 key value 1,32 1 2,25 1 key value 1,25 1 2,25 1 key value 2,25 1 2,25 1 key value 1,25 1 1,32 1 key value count 2 25 2 key value count 1 25 1 1 32 1 map reduce Shuffer Sort 11 目录 适用场景 业务场景 非结构化数据的的离线分析统计。 场景技术特点 为超大数据集设计的计算、扩展能力。 支持SQL like 查询语言。 多表的join操作。 支持非结构化数据的查询、计算。 提供对数据存取的编程接口,支持jdbc、odbc。 12 13 目录 前提条件 14 支持的操作系统 Red Hat:64-bit:RHEL5.7, CentOS 5.7,Oracle Linux 5.6 (UEK), RHEL6.2,CentOS6.2;32-bit:RHEL 6.2,CentOS 6.2 SUSE:64-bit:SLES 11 Ubuntu:64-bit:LTS releases Lucid(10.04) and Precise (12.04) Debian:64-bit:Squeeze(6.0.3) 其他 oracle jdk1.6 以上版本(配置好环境变量) ssh(各个主机之间配置好无密码访问) 集群间各主机已关闭防火墙和selinux。 集群间启动ntp服务,定时同步集群间主机时间。 集群使用相同用户(相同组和user id),相同目录部署 数据节点挂载目录不做raid,可挂载多个文件系统 系统配置 集群间主机名不重复,均应加入到所有主机/etc/hosts文件中 更改系统资源配置:open files (65535),stack size (5120), max user 安装 将安装程序hive-0.10.0-cdh4.3.0.tar.gz拷贝到对应的一台主机如170的/chunk1/demo目录下 使用tar zxvf hive-0.10.0-cdh4.3.0.tar
显示全部
相似文档