基于RDMA的分布式存储系统研究综述 .pdf

基于RDMA的分布式存储系统研究综述

陈游旻;陆游游;罗圣美;舒继武

【摘要】远程直接内存访问(remotedirectmemoryaccess,RDMA)技术正在大

数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异

地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储

系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储

带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并

不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革

的因素.然后阐述了高效运用RDMA技术主要取决于2个方面:第1方面是硬件资

源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及

内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的

特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、

分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管

理和软件重构这2个方面的相关研究.最后,给出了总结和展望.

【期刊名称】《计算机研究与发展》

【年(卷),期】2019(056)002

【总页数】13页(P227-239)

【关键词】远程直接内存访问;分布式存储;键值存储;文件系统;分布式事务

【作者】陈游旻;陆游游;罗圣美;舒继武

【作者单位】清华大学计算机科学与技术系北京100084;清华大学计算机科学与

技术系北京100084;中兴通讯股份有限公司南京210012;清华大学计算机科学与

技术系北京100084

【正文语种】中文

【中图分类】TP302.1

在后摩尔时代，多核CPU已经成为发展趋势，同时，内存日益廉价，这使得构建

内存存储系统变为可能；在大数据计算领域，数据规模大，数据维度高，数据种类

多是其典型特征，内存计算技术逐渐开始发挥重要作用.加州大学伯克利分校开发

的ApacheSpark[1]以及SAP公司在2012年推出的HANA内存计算[2]已经得

到工业界的广泛关注.

DRAM相比于磁盘在带宽和延迟上均有几个数量级的优势，能极大地提升本地数

据存储性能，然而，DRAM也面临集成度低等问题，单节点内存最大只能达到几

百GB，很难满足大型应用的存储需求.构建分布式大内存系统是一种有效途径，但

传统以太网带宽和延迟与DRAM性能具有明显差异，网络性能将成为制约系统性

能的最重要因素.近年来，远程内存直接访问(remotedirectmemoryaccess，

RDMA)[3]作为一种新兴的跨网数据传输技术逐渐从高性能计算走进大数据领域，

并开始受到广泛关注.RDMA技术能够在远端CPU不参与的情况下，绕过内核直

接访问远端内存，实现零拷贝的数据传输.近年来，200Gbps的高速网卡已经走

向市场，这与DRAM的带宽进一步靠近.

然而，简单地将现有的分布式存储系统中的网络模块替换为RDMA通信模式，而

不优化上层软件逻辑的策略，并不能充分发挥RDMA网络的硬件优势，这主要由

3个方面导致：

1)硬件管理缺失.一方面，RDMA网卡和处理器均具有独立的缓存系统，并且

RDMA网卡的缓存空间尤为有限，因此缓存空间的管理高效与否将直接影响系统

整体性能；另一方面，RDMA网卡具有良好的并行性，多核处理器环境下数据传

输并行化具有较大空间.然而，简单兼容RDMA的软件系统很少从硬件角度考虑

RDMA通信的效率问题，从而忽视了缓存管理、多核并行、资源共享等方面的重

要性，导致系统性能低下.

2)软件逻辑冗余.传统软件大多采用模块化设计，软件层次分工明确.在兼容新型硬

件时，如果依旧沿用了传统的软件层次，将会导致软件逻辑冗余，效率低