大数据解决方案v1-段建民.pdf

大数据解决方案 段建民 ：James.duan@ 2013.05.18 一、大数据特点 二、传统DW处理方式的挑战 三、Hadoop 技术简述 四、Oracle 面向大数据的集成解决方案  以下内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料, 代码或 功能的承诺, 并且不应该作为制定购买决策的依据. 所描述的有关Oracle 产品的 任何特性或功能的开发、发布和时间安排均由Oracle 自行决定。 一、大数据特点 1. 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理 和处理的数据集合”—维基百科 2. 三大特征( 3V ) 1. Volume ：数量大（Twitter1.75亿用户每天创建9500万条微博； Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传 168Tb视频） 2. Velocity ：时效性要求高（搜索引擎要求几分钟前的新闻能够被用户查 询到） 3. Variety ：种类和来源多样化（结构化/半结构化/非结构化；关系数据 库/数据仓库/互联网网页等） 3. 通常用于分析型的应用场景，如搜索引擎网页处理、用户行为分析、商 业智能（BI ）等 Oracle 对大数据的理解-4V特征 具有4V特性的数据称为大数据 • 巨大的数据量Volume • 集中储存/集中计算已经无法处理巨大的数据量 SOCIAL Volume BLOG 3亿用户，每天 上亿条微博 中型城市每月数十 SMART 亿智能电表数据 METER • 多结构化数据Variety Variety • 文本/ 图片/视频/文档等 2015年全球移动终端产生的数据 • 增长速度很快Velocity 量6300PB Velocity 10110010100100100 11010101010111001 • 海量数据的及时有效分析 01010100100101 • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长 • 价值密度低Value Value • 单条数据并无太多价值，但庞大的数据量蕴含巨大财富 Why Oracle ? Oracle Exadata Volume 101100101001