大数据引发的变革与企业面临的挑战-2012第五届中国数据中心大会.pptx

大数据引发的变革与企业面临的挑战陈育杰 Eric ChenSYSEX精诚集团 Big Data 事业 资深总监 eric_chen@ , mobile :人的一些经历在IT产业第17个年头从程序员开始第一份工作, 逐渐转移到销售与售前、产品经理、产品与技术管理、事业发展、新事业规划与开发主要经验都是以软件为基础，含括数据库解决方案、电子商务解决方案、中间件(Middleware)、嵌入式系统(Embedded System)、安全解决方案(Security)、云操作系统(Cloud OS)、大数据一体机(Big Data Appliance)2006年，开始参与大数据项目计划，引进Hadoop …………..2009年，开始参与两岸云计算云操作系统项目计划2010年，开始参与台湾云端运算联盟，为创会会员之一Big Data 时代来临新量级、新处理模式、新企业智能Big Data People移动互联网Mobile InternetDevices物联网Internet of ThingsSensorsBig Data 带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有 IT 的数据解决能量不同“看”数据的方式可视：结构化资料 15%DB/DW未视：半/非结构化数据 85%主管们看的战情数位仪表板，其实是残缺的…需要更高性价比的数据计算与储存方式10万 GB数据库数据仓库10万 TB计算更快 存储更省不同的数据管理策略15% 结构化的 DB/DW当我们想要扩充时，才发觉：架构只能 scale-up， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限遗憾85%半/非结构化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 残缺超越企业现有 IT 的数据解决能量储存Storing每天几百 GB、 几 TB 的资料，且持续成长中计算Processing 在收数据的同时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing)如何有效的避免因硬件毁坏所导致的资料损毁管理Managing分析Analyzing如何从中挖掘出所关注事件的 pattern 或 behavior分布式档案存储并行计算匡架并行模式简单、编成较易为程序员屏蔽通性、并发、同步与一致性等问题计算与存储一体，计算向数据靠拢，高效专用存储模式任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out)大规模分布式结构化数据存储系统HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统利用 HDFS作为其文件存储系统 – HDFS为HBase提供了高可靠性的底层存储支持利用 MapReduce来处理其中的海量数据 – MapReduce为HBase提供了高性能的计算能力企业如何运用Hadoop企业运用数据的流程rDistributedSearch企业并不像互联网公司，如何掌握这么多技术 ?rDistributedSearch企业采用 Hadoop 架构的挑战企业对 Hadoop 架构普遍陌生，尚未建立 MapReduce 程序设计能力对资料分析师、商业使用者不够直觉，难亲近Hadoop 丛集规划、布署、管理与系统调校的技术门坎高。技术供给?专业服务商业顾问缺乏在地、专业、有实务经验的 Hadoop 顾问服务厂商先期咨询、需求分析、项目验证、与教育训练等服务来源欠缺。缺乏能够提供完整 Big Data 解决方案设计、导入、与维护的专业厂商。缺乏商业案例研讨企业不知如何挖掘Big Data价值缺乏成熟的导引步骤来降低企业导入风险 提高成功机率精诚集团 Big Data 事业解决方案专业服务商业顾问面向企业Big Data需求的一站式服务