大数据探索-数据交换.pdf

大数据平台初探 阿里数据交换平台 强琦 提纲 • 大数据与云计算的关系 • 平台的场景与技术构成 • 阿里巴巴数据交换平台及其关键技术 • 大数据下的技术与商业初探 大数据与云计算的关系 • 大数据 – 定义：Volume ，Variety ，Velocity ，Value – 应用领域：政府，科技，企业，社会。。。 – 生态：受众，开发者，平台，数据供给 – 风险：开放与控制，个性化与隐私，。。。 – 数据场景：见后 – 技术：云计算，数据仓库，数据开发，数据挖 掘，。。。见后 关系 中心 数据生命周期 轴 描述 云计算 用户计算 计算周期 纵向 强调计算能力，数据是操作 对象;具备工具性；数据私 有。 大数据 数据 数据本身 横向 数据作用到计算；具备可运 营性，使数据可分享，可加； 管理数据是重头。 大数据的数据场景 时效要求 (对平台要求) 成本要求 服务 备注 吞吐 数据 毫秒，秒 极高 低 数据展示 各KV们， 服务 Hbase 们，… 业务 毫秒，秒 高 高 业务支撑 OLTP(DB) (数据) 数据 毫秒，秒 高（重）/中 高 Ad-hoc 多场景(待 应用 （轻） 深度分析) 数据 浅层(秒)， 小 中 在线/离线计算 用来支撑 分析 深层(分钟) 数据决策 深度 小时，天 高 低 离线计算 数据挖掘 分析 (MR,MPI,BSP,STREAM ING) 数据 过程 小 高 决策平台 云端sas 决策 (算法平台) 工具 毫秒，秒 高