《Hadoop技术原理》课件——1.初识Hadoop.pptx
Hadoop技术原理
初识Hadoop
大数据概述
·数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段
2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新
h=dogp
Hadoop成为Apache
顶级项目，重点支持海量数据分布式管理和分布式计算
关系型
数据库ORACLE发布第一个商用SQL关系数据库，后续快速
发展
1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分
数据仓库开
始涌现，关系数据库开始全面普及且平台无关，进入成熟期
大数据技术概述
第一台计
算机
ENIAC面世
SQL
SQL语言被发明
磁盘被发明，进入文
件管理时代
IBM
E.F.Dodd提出关系模型
磁带+卡片
人工管
理
01
的要求
网络型
E-R
·数据量剧增→海量数据
超过150亿个设备连接到互联网
全球每秒钟发送290万封电子邮件
每天有2.88万小时视频上传到YoutubeFacebook每日评论达32亿条，每天上 传照片近3亿张，每月处理数据总量约
130万TB
预计2020年将增长到35ZB
大数据技术概述
IDC全球数据量预测(1ZB=1百万PB=10亿TB)
·大数据(BigData)正迅速成为最值得关注的IT领域之一
2011年5月，EMCWorld2011大会主题“云计算相遇大数
据”,EMC除了一直倡导的云计算外，还抛出大数据(Big
Data)概念
2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进
Google网站Bigdata关键词搜索及新闻引用量
internetofthings●bigdata
Goog1oTronds
I1
2005200620072003200920102011
搜索量指数
0
2004
新闻引用量
大数据技术概述
03
0
·大数据的定义
大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在
10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别。具有4V的，才是大数据
Variety
大数据的4V特征
Value
高速数据I/0互联网连接设备数量增长
快速化(Velocity)
价值密度低(Value)
Volume
Velocity
搜索引擎
社交网络
通话记录
传感器
结构化的数据
非结构化的数据
大数据技术概述
来源多
o
格式多
存储量大增量大
大量化(Volume)
04
多样化(Variety)
·大数据技术：
指从各种各样类型的巨量数据中，快速获得有价值信息的技术。而解决大数据问题的核心是大数据技术。
·大数据技术要面对的基本问题，也是最核心的问题：
就是海量数据如何可靠存储和高效计算。
大数据技术概述
05
2004年
2008年
2011年
自
MapReduce论文发
Hadoop成为Apache
Twitter提供开源产品
MoreMore
表
顶级项
Storm
(1)Hadoop发布HBase
(2)GNU发布Mongodb
(3)Vmware提供开源产品Redis
2003年2006年2010年2014年
Spark成为了Apache的顶级项目
GFS论文发表BigTable论文发表
大数据技术概述
·大数据技术的发展
06
Google的“三驾马车”
·传统存储方案
集中式的存储，集中式的计算
希望采购更高配置的机器来搭建系统，成本太高。对于更大规模存储和计算遇到瓶颈，扩展比较难
关系型数据库
集中式
系统
硬盘/磁盘阵1i
列
图片、视频等文件存储
07
用户
·Googel的低成本之道
不使用超级计算机，不使用存储(去IOE)
大