文件类数据存储系统架构优化实践经验分享.docx

对于很多中小金融机构来讲，由于历史原因，企业的存储形态往往较为单一，存储系统并未做分类和分级建设。比如，对于集中式存储来讲，只有SAN存储，而并未使用NAS存储。这样一来，对于文件共享场景，很多企业有用到GPFS来构建分布式集群文件系统来满足业务系统文件共享场景需求。

实际上，GPFS是一种高性能的并行文件系统，其底座很多也是使用FC组网的SAN存储。GPFS大多适用于高性能计算场景，或者是和企业其他IT技术生态捆绑使用。另一方面，GPFS在构建同城或异地容灾时，也有一定的局限性，很多也是基于底层SAN存储来做的数据级容灾。

如果从企业的存储系统发展来看，随着企业存储管理的精细化，可以看到，GPFS和NAS的使用场景也开始逐渐分流，两种技术分别适用于不同的业务场景中，可以说两者是“术业有专攻”。对于低时延的高性能场景或者是多业务系统之间文件交互场景，即插即用的NAS存储可以说带来了极大的便利。此外，集中式的NAS存储也有成熟的双活以及异步复制解决方案，很好的匹配了企业的文件高可用性建设需求。

此外，在海量非结构化数据存储优化方面，对象存储技术扮演了重要角色。近年来，对象存储凭借其优异的成本优势、强大的横向和快速扩展能力以及丰富的服务接口特性在国内取得了快速发展，同时交付了很多成功案例。而对于传统的银行业，对象存储也有不少落地案例。从应用场景来看，主要用于对接ECM内容管理平台和备份系统的分层建设中。

一、背景和必要性

目前，我行的非结构化数据主要存储在构建于传统集中式块存储之上的IBMGPFS并行文件系统中。这些非结构化数据的文件数量和容量随着业务规模的发展呈逐年激增的趋势，而这种使用存储的方式灵活性不高，同时带来了过高的成本开销。

GPFS构建在FCSAN存储之上，消耗了较多的SAN存储资源以及中间的FC交换网络资源。而从使用场景来看，GPFS主要用于前端的应用服务器集群，随着行里云平台的广泛使用，这种应用服务器外联FCSAN存储的架构也给应用服务器入云带来了制约，进而由于消耗了更多的物理服务器也会带来额外的成本开销。另外，由于GPFS和数据库类的应用争抢存储资源，也给这些联机交易类系统带来了一定的性能冲击。随着行里的业务种类越来越丰富，不同类型数据的合理存放成为亟待解决的问题。

针对上述问题，我行2018年引入了中低端NAS存储设备，用于存储文件类的数据，为数据的分类存储提供了便利，使得存储的使用方式更趋于合理化。然而，按照我行存储资源池的分级架构建设规划，需要额外建设具备双活能力的高端NAS存储系统，满足GPFS场景中重要业务系统的文件共享需求和同城双活的高可用需求。为此，我行近两年来构建了高端NAS同城双活架构，同时，异地部署了一台低端NAS存储，进而实现了依托NAS存储复制技术的3DC高可用架构。而现有的中低端NAS存储，可以继续承载GPFS场景中的一般重要业务系统的文件存储需求。

除了非结构化数据存储架构优化之外，我行另一个需要逐步优化的场景是系统间的文件交互。目前，我行使用专门的文件传输工具进行各系统间的文件传递，软件架构较为复杂，同时运维难度也略大。此外，由于各业务系统分布在不同的网络区域，跨区的文件传输流量也会给各区域的边界防火墙带来性能压力。为此，我们可以借助NAS存储构建文件交互平台，不但省去了文件在各系统间的频繁传递，提高业务系统效率，同时，依托NAS存储的多网络区域覆盖能力，可以避免产生跨区流量，进而规避对边界防火墙的性能冲击。

下面两张图分别是NAS引进前、后的文件类数据存储系统高可用架构图：

图一构建在SAN存储复制技术上的文件高可用架构

图二依托NAS存储3DC方案构建的文件高可用架构

实际上，在我行的整体存储体系和存储架构规划中，SAN存储、NAS存储和对象存储有其各自的定位和应用场景。SAN存储适用于存储结构化数据，如数据库类应用，满足其高并发、低延迟的高性能需求。NAS存储适用于多服务器共享文件场景或构建文件传输平台，对性能要求没有SAN存储高，但成本要低。对象存储适用于存储海量非结构化数据（文件、影印件、音视频等），当文件数量达到数十亿、存储容量达到几十PB以上的量级时，其性能和总体拥有成本较之于NAS更具优势。

二、技术路线对比

对于文件类数据存储的解决方案，实际上我们从业界不难看到基本包括分布式集群文件系统、分布式NAS存储、传统集中式NAS存储以及对象存储等。

这些存储技术各具特色，分别适用不同的业务场景。比如分布式集群文件系统或者称为并行文件系统解决方案，例如：GPFS、Cephfs、GlusterFS、HDFS、GFS等。对于这些集群文件系统，有些存在元数据节点，有些则是没有元数据节点的对称架构，另外在文件的分片尺寸上也略有区别，但总体上来讲，这些分布式文件系统或者是