《Hadoop技术原理》课件——7.pptx

Hadoop技术原理

MapReduce进阶

MapReduce进阶

01MapReduce进阶

·MapReduce输入格式

逻辑分片(按照200字分片)

荷塘月色

这几天心里颇不宁静。今晚在院子里坐着乘凉，忽然想起日日走过的荷塘，在这满月的光里，总该另有一番样子吧。月亮渐

渐地升高了，墙外马路上孩子们的欢笑，已经听不见了；妻在屋里拍着闰儿1),迷迷糊糊地哼着眠歌。我悄悄地披了大衫，带上|

门出去。

沿着荷塘，是一条曲折的小煤屑路。这是一条幽僻的路；白天也少人走，夜晚更加寂寞。荷塘四面，长着许多树，蓊蓊郁郁

2的。路的一旁，是些杨柳，和一些不知道名字的树。没有月光的晚上，这路上阴森森的，有些怕人。今晚却很好，虽然月光也

还是聚淡的。这剩下的本该给第二个分片，现在划给第一个分片

路上只我一个人，背着手踱3着。这一片天地好像是我的；我也像超出了平常的自己，到了另一个世界里。我爱热闹，也爱

冷静；爱群居，也爱独处。像今晚上，一个人在这苍茫的月下，什么都可以想，什么都可以不想，便觉是个自由的人。白天里-I

定要做的事，一定要说的话，现在都可不理。这是独处的妙处，我且受用这无边的荷香月色好了。

曲曲折折的荷塘上面，弥望④的是田田S的叶子。叶子出水很高，像亭亭的舞女的裙。层层的叶子中间，零星地点缀着些

白花，有袅娜⑥地开着的，有羞涩地打着朵儿的；正如一粒粒的明珠，又如碧天里的星星，又如刚出浴的美人。微风过处，送来

缕缕清香，仿佛远处高楼上渺茫的歌声似的。这时候叶子与花也有一丝的颤动，像闪电般，霎时传过荷塘的那边去了。叶子本是

肩并肩密密地挨着，这便宛然有了一道凝碧的波痕。叶子底下是脉脉7的流水，遮住了，不能见一些颜色；而叶子却更见风致

(8了。

02MapReduce进阶

·MapReduce输入格式

逻辑分片

有了逻辑分片，就可以逐行获取数据

荷塘月色

第1行。今晚在院子里坐着乘凉，忽然想起日日走过的荷塘，在这满月的光里，总该另有一番样子吧。月亮渐

斩地开高了，墙外马路上孩子们的欢笑，已经听不见了；妻在屋里拍着闰儿1),迷迷糊糊地哼着眠歌。我悄悄地披了大衫，带上

中门出去。

沿着荷塘，是一条曲折的小煤屑路。这是一条幽僻的路；白天也少人走，夜晚更加寂寞。荷塘四面，长着许多树，蓊蓊郁郁

的。路的一旁，是些杨柳，和一些不知道名字的树。没有月光的晚上，这路上阴森森的，有些怕人。今晚却很好，虽然月光也

还是酸淡的。这剩下的本该给第二个分片，现在划给第一个分片

路上只我一个人，背着手踱3着。这一片天地好像是我的；我也像超出了平常的自己，到了另一个世界里。我爱热闹，也爱

冷静；爱群居，也爱独处。像今晚上，一个人在这苍茫的月下，什么都可以想，什么都可以不想，便觉是个自由的人。白天里-I

定要做的事，一定要说的话，现在都可不理。这是独处的妙处，我且受用这无边的荷香月色好了。

曲曲折折的荷塘上面，弥望(④的是田田S的叶子。叶子出水很高，像亭亭的舞女的裙。层层的叶子中间，零星地点缀着些

白花，有袅娜⑥地开着的，有羞涩地打着朵儿的；正如一粒粒的明珠，又如碧天里的星星，又如刚出浴的美人。微风过处，送来

03MapReduce进阶

·MapReduce输入格式

InputFormat类实现了两个功能

·数据切分，获得SplitInput(逻辑切片),FileInputFormat.getSplits()获取