大数据的全生命周期管理.pdf

大数据的全生命周期管理 目录 1 大数据面临的技术挑战 2 大数据的技术发展趋势 3 多位一体的大数据技术剖析 2013华为云计算大会 2 大数据的4V特征 Volume-巨量 Variety-多样性 Value-价值密度 Velocity-速度 数据量巨大 结构化、半结构 沙里淘金，价值 实时获取需要的 化和非结构化数 密度低 信息 IDC预计到2020 年， 据 一部数小时的视频，可能 大数据区分于传统数据最 全球将总共拥有40ZB 数据类型早已丌是单一的 有用的数据仅仅只有一两 显著的特征。 的数据量 文本形式 ，记录、日志、 秒。 求解：低时延幵发访问 音频 ，混合 求解：Scale-out技术 求解：多位一体的架构 求解：数据分析引擎 2013华为云计算大会 3 大数据需要解决性能瓶颈 单机 集群 计算 瓶颈 横向扩展 单机 双控阵列 块级虚拟化 存储 瓶颈 NAS 横向扩展 分布式文件系统 网络 GE FC 10GE FC IB 瓶颈 FC 10GE SAS IB 数据库 瓶颈 关系型数据库 分布式数据库 非关系型数据库 2013华为云计算大会 4 如何应对大数据的多样性 内容（ITEM ，图像、视频、文本)数据 •互联网： （ ~ 原 23% •Google, 百度 非 用户行为轨迹（个体） ~10 •Facebook , Twitter ,新浪…. 生结 ~5