大数据处理技术.ppt.pptx

大数据处理技术简介; 三、大数据开源软件Hadoop简介; 一、大数据背景;我们正处在信息爆炸的年代;大数据定义;数据的分类;2000年以后非结构化数据占绝大部分;从非结构化数据到结构化数据;网页爬虫;传统关系数据库，如：Oracle、MYSQL 无法储存几亿行长，几百万行宽的表格，巨大的数据直接导致数据库崩溃 半结构化数据和脏数据将会导致出错（类型不严格） 传统方法失效 ！ 如何解决？ 大数据处理技术的解决办法： 存成文件（File System）;; 二、大数据处理实现技术;大数据处理技术面对的第一个问题;数据读取问题;谷歌文件系统（GFS）;分而治之;……..;可靠性问题 ;备份 一份数据至少做三个备份 ;;Google File System架构;大数据处理实现技术 —— 分布式计算模型 MapReduce;分布式计算（并行计算）;谷歌提出 Map / Reduce 模型;Map函数：接受一个键值对（key-value pair），产生一组中间键值对。map函数将中间键值对里键相同的值传递给Reduce函数。 Reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值） ;Key-Value（键-值）模型;气象站气象数据的处理（找出最高气温）;大数据处理实现技术 —— 分布式计算模型 MapReduce;Map/Reduce特点;Map/Reduce的局限; 三、大数据开源软件Hadoop简介;谷歌技术开源实现;2002年，Doug Cutting从做开源Apache Nutch引擎开始 2003年，Doug在看到谷歌发表的GFS之后，开始开源实现 NDFS ( Nutch Distributed File System)。 2004年,谷歌发表MapReduce，2005年，Nutch开发人员开源实现MapReduce。 2006年，Nutch的NDFS和MapReduce移出Nutch项目，独立形成独立项目，命名Hadoop。 Hadoop的得名（ Doug Cutting 的小孩给毛绒玩具象起的名字） 2006年， Doug Cutting加入雅虎（聘请），雅虎开始资助Hadoop发展。 2008年，1月Hadoop成为Apache顶级项目，2月，雅虎宣布，Hadoop应用在自家搜素引擎中（其搜索引擎的索引建立在拥有1万个内核的Hadoop集群上），4月，Hadoop在900个节点上运行1TB排序测试仅需209秒，成为全球最快。;Hadoop 分布式文件系统（HDFS）架构;安装Hadoop;Hadoop启动HDFS演示;Hadoop云的实际操作;;;Map/Reduce单词统频(Wordcount)示例;;;Wordcount Java程序 map部分 ;Wordcount Java程序 reduce部分 ;;;Hadoop的优势;Hadoop 生态系统;各组件简介;大数据开源软件Hadoop简介