联想LeoStor分布式存储解决方案白皮书.docx
文本预览下载声明
方案白皮书:联想LeoStor分布式存储解决方案软件定义存储设计:灵活按需定制数据存储服务类型,快速应对多种需求Version 6.0高效运维管理:整体规划、策略自动化管理,降低运维复杂程度优化TCO:全部采用通用x86服务器架构,合理的硬件成本控制和运维管理成本优化分布式架构设计:强劲的分布式存储引擎+高性能、稳定x86服务器,提供高性能、高安全性的存储方案海量存储需求分析引言随着系统信息化建设的不断发展,并向其它行业、领域的不断扩展,数据量的增长已达到前所未有的速度,以文件为单位的非结构化数据不管是单个文件大小或在文件总数据量的增长上都非常迅速。“大数据 (Big Data)”时代已经到来,针对于大数据时代存储需求,除了如何存储管理大数据以及海量的文件数量之外,更为重要的是根据应用的访问特点在保证数据安全性的同时进行简易化合理的数据存储管理以及提高存储系统读写性能,提升数据处理效率,将存储系统的价值发挥到最大。功能需求功能需求分析全局共享存储系统需要满足全局文件共享功能,让所有系统都可以看到文件统一试图,实现全局共享访问,方便运维管理的同时,提供数据按需分发分享机制;数据存储隔离功能架构统一存储的同时,由于各个业务系统之间存在私密文件,所以存储系统需要满足统一存储池需求的同时,为用户提供按需数据分离的存储需求,实现不同系统之间按需设置数据隔离功能;兼容POSIX接口存储系统需要完全兼容POSIX接口,可以兼容所有标准应用,即使用存储系统可以像使用本地硬盘一样,方便业务应用能够无缝上线使用,无需定制开发专用接口;负载均衡机制存储系统需自带负载均衡机制,在实现网络负载均衡的同时,将所有数据读写压力平均分配到服务器所有硬盘中,实现所有磁盘的压力均衡,将存储服务器以及网络的整体性能发挥出来,屏蔽掉由于集群规模大的时候由于压力分配不均衡造成的存储服务器热点;在线升级功能存储系统需要满足在不影响业务系统的正常运转的情况下对存储系统后端进行硬件升级,方便在硬件更新换代之后可在线动态的将所有存储介质进行更新,屏蔽掉由于硬件老旧而无法在线更换为应用系统造成的不便。细粒度操作功能存储系统可对存储系统中所有磁盘进行按需操作,防止当系统出现不稳定硬盘时无法进行合理更换,即存储系统可以按照磁盘IO进行磁盘级别的检测,可根据硬盘的状态进行禁止写入、恢复数据等功能,实现动态的细粒度管理机制,随时可以对系统内的任意硬盘进行处理;权限管理功能存储系统需要自有一套存储权限管理机制,可满足划分用户对目录的操作权限,以及禁止写入禁止重命名等操作,在防止误删除情况发生的同时,防止泄密情况发生;目录容量限制功能存储系统需要对每个目录进行容量写入限制,一旦超过限制写入容量即像本地硬盘一样无法继续进行数据写入,且在限制写入的同时可以自由进行删除操作,方便运维人员对整体存储系统的规划与管理,根据不同用户对不同空间的需求进行定制化分配使用空间。性能需求基于存储局域网技术,为满足数据存取需求和运行于其上的应用计算系统、查询检索系统、以及数据分析系统等的工作要求,必须强化数据存储核心,选择集群存储服务器与网络架构。其基本性能需求分析如下:性能扩展:在存储系统中,处理器主要完成I/O处理、cache控制管理、数据传输控制以及一些智能化的软件功能,处理器的能力直接影响到整个存储系统的性能。为了满足数据处理程序对存储性能增长率的要求,采用的存储设备必须具有良好的性能扩展性能,可以将单个任务分布式的存储在多台存储服务器中,屏蔽掉由于单个硬盘或者服务器对外提供存储服务而造成的数据读写瓶颈。数据缓存机制:对于大数据文件访问应用,存储系统需要拥有缓存机制,将所有经常被访问的数据存储在缓存池中方便用户调取经常被访问的数据时可以直接从缓存调取,且缓存池容量无需设置限制。海量文件高效检索效率:当数据量不断增长(如图片类与数据处理数据),存储系统里面的文件数量也会快速增长。当存储系统内的文件数量增长到数千万以上时,文件的检索查找等操作将会给文件系统带来巨大的压力,特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。可靠性需求存储系统可靠性是整体系统可靠性的重中之重,多台服务器共享存储资源,一旦存储产生严重故障,业务服务必然全面停滞,甚至导致致命的数据资源损坏。因此,存储系统必须具有强有力的可靠性保障。采用传统的RAID数据保护技术,只能从硬盘级别保护数据,随着数据的增长,磁盘数量多,容量大,硬盘故障的几率增加,恢复时间长,且在进行数据恢复时,RAID机制的存储系统几乎处于不可用的状态,所以RAID技术已不能满足实际应用的需求。从数据的安全性和应用的连续性考虑,要求存储系统不管是在单机任意数量磁盘损坏、整机宕机、单网络损坏、单控制器损坏的情况下,都能够继续保证业务的连续和数据安全性
显示全部