基于两级映射体系的分布式存储子系统的设计于实现-计算机系统结构专业论文.docx

万方数据 万方数据 THE DESIGN AND IMPLEMENTATION OF DISTRIBUTED STORAGE SUBSYSTEM BASED ON THE TWO LEVEL MAPPING A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Computer System Architecture Author: Mei Mei Advisor: Hancong Duan School : Computer Science and Engineering 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 随着国家对下一代宽带无线移动网络建设的推进，能够满足各种电信业务数 据要求的移动控制网络对后台的存储支持提出了越来越高的要求。传统的存储解 决方案往往不能满足系统和用户对可扩展性和可用性的需求，在面对海量用户和 海量文件数据的情况下更是捉襟见肘：系统规模无法适应用户与应用规模的增长， 应对海量数据的处理与访问也显得力不从心。 本文首先对国内外几种主流的分布式文件系统进行了调研与介绍，面对海量 用户与海量文件的应用场景，设计并实现了分布式存储系统 CSTORE 中的资源定 位规则和数据存储模块。 CSTORE 采用纯分布式的架构，将元数据与数据的分别存储在不同的集群中， 并实现了一种基于两级映射的资源定位规则，结合负载均衡与数据恢复策略，能 够提供较好的可扩展能力。元数据和数据的分离使得客户端对两种数据的访问分 开，便于它们各自的管理与性能的优化；而集群的利用进一步促进了数据的分布 式管理，避免了单点失效带来的危险。 资源定位规则建立了资源与存储数据的服务器之间的映射关系，它为客户端 提供了一种可靠的寻址方法，系统中任何节点都可以使用它独立计算出资源的位 置，既充分利用了客户端的资源，又减轻了服务器端的压力；它的伪随机特性和 映射变换同时也为系统提供了较好的负载均衡和可扩展性。 数据存储模块为用户提供数据存储与访问服务，存储到系统中的数据按资源 定位规则被分为了多个不同的资源管理单元，资源管理单元的多个副本之间两两 建立心跳连接以推送数据和交换时序，在一定程度上保证了数据的可用性的同时 也保证了一致性；容错方面，冗余机制保证了系统可以容忍在一定范围内的失效， 数据恢复机制可以使得失效的模块能够尽快的对客户端服务。在数据存储模块中 所有文件片都使用全局唯一 ID 对所存储的数据进行了去重处理。数据去重可以节 省存储和管理成本，提高物理存储空间利用率。 本文最后对存储系统的功能和性能进行了测试，证明了它能正确执行所需功 能并保证了其高效性。 关键字：分布式存储系统，数据一致性，容错，资源定位 I ABSTRACT ABSTRACT Along with the construction of the next generation of broadband wireless mobile network, the mobile control network has raised higher requirements in backstage storage for the sake of meeting the demand of telecommunication. The need of availability and scalability that proposed by users can’t be satisfied by the traditional storage solutions, especially in the circumstance of mass users and data: the system can’t scale w