Hbase内存数据结构跳跃表
Hbase内存中的数据怎么存储的？
-
首先数据在内存中是有序的，按字典顺序进行排序，如：100，110，111 内存中的数据结构为上图：跳跃表
跳跃表
概念：
-
多层链表组成，每一层链表都有直接向下一层跳跃的连接处 上层链表均为下层链表的子集 每一层链表都是有序的
跳跃表具有链表的有序性又解决了链表的查询复杂度高的问题。从O(n) 降到 log(n)
查询：
-
首先从左上角开始，在最底层的链表中查找 如果遇到比自己小的，继续在本层链表中搜索 如果遇到比自己大的，说明后面不可能存储在查找的值了，跳跃到下一层 重复上面动作直到搜索结束
插入：
-
查找到需要插入的位置 随机生成一个随机数**(这个位置有点太随意了，有待考证)** 如果这个随机数比当前总层数大，提高层数并在每一层相应的位置插入元素 反之只需插入元素即可
在Hbase MemoryStore是怎么使用跳跃表的
hbase中使用java的ConcurrentSkipListMap进行跳跃表的实现，它是一个有序的Map
hbase的kv是怎么存入这个Map
-
首先chunk管理器提前申请好一个chunk，它是一个2M的内存 如果chunk不够就会继续申请 然后将kv生成一个cell对象，将它存入Map 当memstore被flush为hfile中时，chunk管理会回收chunk放入池子中以备下次使用
为什么要使用chunk
chunk的中文意思为 大块 ，个人理解它就是一个统一管理内存，减少内存碎片，并且使用chuck pool减少申请内存的动作，提高写入的速度。 如果不使用chunk统一管理，那么在吞吐量高的时候就会出现大量对象被Minor GC 到老年代，而这些数据大小都参差不齐的，容易造成碎片。
上一篇：
JS实现多线程数据分片下载
下一篇：
Anaconda虚拟环境占用在C盘