hive实现原理-weibo-大数据文档资料.docx
1Hivc实现原理
1
新人培训课程|从入门到精通
作者：周忱|淘宝综合产品微博：@MinZhou
邮箱：zhouchen.zm@
1Hivc实现原理
1
??????
???
花名:周忱(chén)真名:周敏
微博:@MinZhou
Twitter:@minzhou2010年6月加入淘宝
曾经淘宝HadoopHive研发组Leader
目前专注分布式实时计算HiveContributor
自由、开源软件热爱者
关于我
TaobaoJavaTeam|zhou
TaobaoJavaTeam|zhouchen.zm
TaobaoJavaTeam|zhou
TaobaoJavaTeam|zhouchen.zm
1Hivc实现原理
1
??????
???
花名:周忱(chén)真名:周敏
微博:@MinZhou
Twitter:@minzhou2010年6月加入淘宝
曾经淘宝HadoopHive研发组Leader
目前专注分布式实时计算HiveContributor
自由、开源软件热爱者
关于我
Hivc
Hivc实现原理
1
如何用MR实现下面语句?
pv_users
pageidagecount
pageid
age
count
1
25
1
2
25
2
1
32
1
pageid
age
1
25
2
25
1
32
2
25
SELECTpageid,age,count(1)
FROMpvusers
GROUPBYpageid,age;
Hivc
Hivc实现原理
1
就是这么简单
pv_users
pageid
age
1
25
2
25
pageid
age
1
32
2
25
Map
key
key
value
1,25
1
2,25
1
key
key
value
1,32
1
2,25
1
Shuffle
Shuffle
Sort
key
key
value
1,25
1
1,32
1
key
key
value
2,25
1
2,25
1
p
p
Reduce
p
p
Hivc
Hivc实现原理
1
就是这么简单
Map
key
key
value
1,25
1
2,25
1
key
key
value
1,32
1
2,25
1
Shuffle
Shuffle
Sort
key
key
value
1,25
1
1,32
1
key
key
value
2,25
1
2,25
1
Reduce
pageid
age
count
1
25
1
1
32
1
pageid
pageid
age
count
2
25
2
Hivc
Hivc实现原理
1
为什么要学习Hive的实现?
?Hive学习曲线平缓,适合非专业人员,集团内部普遍使用
?一道HiveSQL将转换为多少道M/R作业?
?我们怎么加快HiveSQL的执行速度?
?编写HiveSQL的时候我们可以做些什么?
?Hive怎么将HiveQL转换成M/R作业?
?Hive将会采用什么样的优化方式?
Hivc
Hivc实现原理
1
组件分析
Hivc
Hivc实现原理
1
Hive架构执行流程
Client
Client
MetastoreHadoop
Metastore
Hadoop
Driver
Driver
Compiler
Compiler
TaobaoJavaTeam|zhou
TaobaoJavaTeam|zhouchen.zm
TaobaoJavaTeam|zhou
TaobaoJavaTeam|zhouchen.zm
Hivc
Hivc实现原理
1
Hive执行流程
?编译器将HiveSQL转换成一组操作符(Operator)
?操作符是Hive的最小处理单元
?每个操作符处理代表一道HDFS操作或MapReduce作业
Client
Client
HadoopDriverMetastore
Hadoop
Driver
Metastore
Compiler
Compiler
Hivc
Hivc实现原理
1
Hive执行流程
?操作符
操作符
描述
TableScanOperator
扫描hive表数据
ReduceSinkOperator
创建将发送到Reducer端的Key,Value对
JoinOperator
Join两份数据
SelectOperator
选择输出列
FileSinkOperator
建立结果数据,输出至文件
FilterOperator
过滤输