hadoop大数据平台介绍.pptx

Hadoop大数据平台介绍;;如何对大数据进行存储与分析呢？;系统瓶颈;革命性变化1：成本降低，能用PC机，就不用大型机和高端存储;革命性变化1：成本降低，能用PC机，就不用大型机和高端存储;革命性变化1：成本降低，能用PC机，就不用大型机和高端存储;革命性变化2：软件容错硬件故障视为常态，通过软件保证可靠性;革命性变化3：简化并行分布式计算，无须控制节点同步和数据交换;但是，Google只发表了相关的技术论文，没有开放源代码。;为何取名Hadoop？;Hadoop是什么？;Hadoop的组成;Hadoop可以用来做什么？;Hadoop的优势;优势2：低成本;优势3：成熟的生态圈;;HDFS基本概念;HDFS的文件被分成块进行存储;HDFS中有两类节点;NameNode是管理节点，存放文件元数据;HDFS体系结构;DataNode是HDFS的工作节点， 存放数据块;;HDFS中数据管理与容错;数据块副本;数据块副本;数据块副本;心跳检测;心跳检测;;HDFS中文件读写的流程;;;HDFS的特点;HDFS写入文件的流程;适用性和局限性;;MapReduce原理;100GB 网站访问日志文件，找出访问次数最多的IP地址;split 0;日志;split 0;日志;split 0;日志;split 0;MapReduce的运行流程;基本概念;;JobTracker的角色;TaskTracker的角色;Map端;MapReduce的容错机制;MapReduce的容错机制;MapReduce的容错机制