一、什么是LSM-TREE
在一些写多读少的场景,为了加快写磁盘的速度,提出使用日志文件追加顺序写,加快写的速度,减少随机读写。但是日志文件只能遍历查询。不支持随机查询,提出使用LSM-TREE。除了利用磁盘顺序写之外,还划分了内存+磁盘多层的合并结构
LSM-TREE(log structured tree) 就是多层的SSTable
1、什么是SSTable
SSTable就是存放在磁盘的一个数据块,里面存放可变数组长度的kv数组。SSTable内部按照key进行排序
LSM-TREE类似于ES
写数据
写数据先写在内存的Memtable,Memtable写满后才写入磁盘。
当每层的磁盘上的SSTable的体积超过一定的大小或者个数,会周期的进行合并。此步骤也称为Major Compaction。这个阶段会真正的清除掉被标记删除掉的数据(类似ES段合并)。合并完后进入下一层,因为SSTable内部都是有序的。因此使用mergeSort算法可以快速合并 O(n)复杂度。
查询
1、先在内存里面查询,如果查询到就返回。
2、如果没有查询到就会依次下沉,知道把所有的Level层查询一遍得到最终结果。
3、为了快速查找key。每个SSTable都有一个布隆过滤器,确定key在不在此SSTable
如果在的话,在SSTable内部进行二分查找
一、influxdb和ES都是准实时 为什么不用倒排索引