基于NVM缓存的高性能键值存储系统设计及关键技术研究.pdf

华中科技大学硕士学位论文

摘要

基于日志结构合并树（Log-StructuredMergeTree，LSMTree）的键值存储，由于

具备优异的写性能而得到广泛应用。但其在后台执行数据合并（Compaction）操作时，

会引发严重的写放大问题，且内部I/O操作还会干扰用户的写请求，引发写停顿问

题，增大系统尾延迟，严重降低系统性能。因此如何缓解写放大和写停顿问题，提高

基于LSMTree的键值存储的性能成为当前研究的热点。

针对上述问题，提出采用NVM缓存提高键值存储系统性能的方法，设计并实现

基于NVM缓存的高性能键值存储系统RadixLSM，包括四项关键技术：高性能持久

化键值存储索引HybridART、自适应的数据缓冲机制、细粒度的异步数据刷写机制、

基于数据即日志的一致性保障机制。设计高性能键值存储索引HybridART，代替LSM

Tree的Memtable与ImmutableMemtable结构，缓存最新写入的数据，提供高效的读

写操作。HybridART索引通过路径压缩机制以及数据布局与查询优化机制，减少查

询路径长度，提升单点操作性能，并提供良好的可扩展性；通过范围查询优化机制，

快速获取相邻叶子节点的地址，避免Radix树回溯父节点的开销，有效提升索引范围

查询性能。设计基于NVM的自适应数据缓冲机制，避免因短时间内负载繁忙或内部

I/O操作繁忙导致的写停顿问题。设计细粒度的异步数据刷写机制，从持久化键值存

储索引中，选择主键范围相近的数据，进行细粒度的异步数据刷写；同时维护层数

0

据的有序性，减少层数据合并操作开销，在不降低系统读性能的情况下，有效缓解

0

写放大问题与写停顿问题。设计基于数据即日志的一致性保障机制，利用非易失的

NVM，缓存最新的写请求数据，不再维护日志结构，降低系统数据一致性保障开销。

测试结果表明，HybridART索引，相比现有的其他索引工作，在典型负载下的读

操作吞吐率提高了40.29%~178.15%，范围查询操作吞吐率提高了74.54%~184.94%，

并具有良好的可扩展性。RadixLSM键值存储，相比LevelDB、RocksDB、MatrixKV，

随机写吞吐率提升了783%、194%、27%，99%尾延迟降低了98.76%、73.67%与42.56%。

关键词：键值存储；日志结构合并树；索引结构；非易失内存

I

华中科技大学硕士学位论文

Abstract

Key-valuestoresbasedonLog-StructuredMergeTree(LSMTree)arewidelyuseddue

totheirexcellentwriteperformance.However,theyperformcompactionoperationsinthe

background,causingseriouswriteamplificationproblems.InternalI/Ooperationsalso

interferewithuserwriterequests,causingwritestallproblems,increasingsystemtail

latency,andseriouslydegradingsystemperformance.Therefore,howtoalleviatethewrite

amplificationandwritestallproblemsisahottopicofcurrentresearch.

Toaddresstheaboveproblems,Iproposeam