以混合存储模型实现云计算平台对电信海量数据处理.pdf

嚣滋；运营之道；； 以混合存储模型实现云计算 平台对电信海量数据的处理 马俊涛 黄如生 广州杰赛科技股份有限公司 【摘要】利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的 海量数据分布式处理模型，基于混合型数据存储，实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实 践证明，在海嚣数据处理方面，该模型可以很好发挥关系数据库和非关系数据库的优点，具有良好的参考示范价值。 【关键词】分布式计算 非关系型数据库 海量数据处理 云计算 1引言 Codd又陆续发表多篇文章，论述了范式理论和衡量关 目前网络服务正从传统的“高集中、高成本、低通 系系统的12条标准，用数学理论奠定了关系数据库的基 用”的服务配置向“高分布、低成本、高通用”转变。 础。IBM的RayBoyce和Don 为了构建出动态的、易扩展的、高性价比的计算和存储 据库的12条准则的数学定义以简单的关键字语法表现出 平台，目前涌现出了云计算”1【Cloud 来，里程碑式地提出了SQL语言。由于关系模型简单明 computing)等新 了、具有坚实的数学理论基础，所以一经推出就受到了 型网络计算技术及其应用系统，目的都是将客户数据和 学术界和产业界的高度重视和广泛响应，并很快成为数 计算请求部署在大量集中或分布管理的廉价计算与存储 据库市场的主流。当前的大多数数据主要以关系型数据 设备(如PC)上，利用高效的并行和分布式计算技术， 库的方式进行存储。 支持应用的快速部署和任务调度，提供数据冗余机制， 随着Web2．0的快速发展，非关系型、分布式数据 稳定、快捷地满足用户的各种应用。其中，数据的存储 库存储得到了快速的发展，它们不保证关系数据的ACID 方式是构建云计算平台时需要重点考虑的关键因素。 特性。非关系型数据库(NoSQL)概念在2009年被提出 1 Frank Codd首次提出了数据库的 970年，Edgar 来，其主要特点如下： 关系模型憎1的概念，奠定了关系模型的理论基础。后来 (1)松耦合类型：使用松耦合类型、可扩展的数 据模式来对数据进行逻辑建模(Map、列、文档、图标 等)。 收稿日期：2011-04-06 (2)弹性计算能力：以遵循于CAP定理的跨多节点 cn 76 ：：c：≤责任编辑吴竹立wuzhuti@mbcom l惹翟雾乒 万方数据 l；运营之道滋i；； 数据分布模型而设计，支持水平伸缩。也即对于多数据