主流大数据处理技术与应用方案.pdf

主流大数据处理技术及应用方案 中国联合网络通信有限公司网络技术研究院 王振亚 2016年12月 1 目录 一 数据处理技术的演进 二 主流分析型数据库技术介绍、对比及选型 三 应用方案-网研院大数据平台 2 什么是大数据 大数据指不用随机分析法（抽样调查）这样的捷径，而采用对所有数 据进行分析处理的方法——维克托 ·迈尔 ·舍恩伯格 “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和 流程优化能力来适应海量、高增长率和多样化的信息资产——全球领 先的信息技术研究和分析公司Gartner 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库 软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流 转、多样的数据类型和价值密度低四大特征——麦肯锡 3 大数据4V特征 • 随时随地产生数据，数据量更大 • 数据具有多样性 • 以“低成本”的方式获得 “可接受” Volume Variety • 数据来源多、类型多 的数据分析结果 • Multi-X ：同一对象多维描述 • Cheap ：“廉数据” • 价值密度低 • 对处理速度要求更高 • 实时和在线 • 更多高价值的数据产生 • Swift ：“快数据” Velocity Value • 对有价值数据进行“提纯” • 大数据的目的 Big Data Big Money 4 数据库技术是大数据处理的关键 大数据处理流程 数据获取 数据ETL 数据存储 数据分析 数据服务 数据库技术是大数据的关键！ 5 数据处理技术的演进 分布式技术提出 实时计算技术提出 谷歌提