HBase內(nèi)存壓縮

概述

內(nèi)存壓縮（AKA Accordion）是hbase-2.0.0中的一項(xiàng)新功能。它首先在Accordion的Apache HBase博客上推出 ：通過(guò)內(nèi)存壓縮進(jìn)行HBase Breathes。引用博客：

Accordion重新應(yīng)用LSM主體[ Log-Structured-Merge Tree，HBase基于MemStore的設(shè)計(jì)模式，以便在數(shù)據(jù)仍在RAM中時(shí)消除冗余和其他開(kāi)銷。這樣做可以降低刷新到HDFS的頻率，從而減少寫(xiě)入放大和整個(gè)磁盤(pán)占用空間。由于刷新次數(shù)較少，因此MemStore溢出時(shí)寫(xiě)入操作停止的頻率降低，因此寫(xiě)入性能得到改善。磁盤(pán)上的數(shù)據(jù)越少，對(duì)塊緩存的壓力越小，命中率越高，最終讀取響應(yīng)時(shí)間越長(zhǎng)。最后，減少磁盤(pán)寫(xiě)入也意味著在后臺(tái)執(zhí)行的壓縮更少，即從生產(chǎn)（讀取和寫(xiě)入）工作中竊取的周期更少?？偠灾瑑?nèi)存壓縮的效果可以被設(shè)想為催化劑，使系統(tǒng)整體上移動(dòng)得更快。

Accordion提供開(kāi)發(fā)人員視圖：內(nèi)存壓縮的開(kāi)發(fā)人員視圖。

內(nèi)存壓縮在大量數(shù)據(jù)流失時(shí)效果最佳；當(dāng)數(shù)據(jù)仍在內(nèi)存中時(shí)，可以消除覆蓋或過(guò)度版本。如果寫(xiě)入都是唯一的，則可能會(huì)拖動(dòng)寫(xiě)入吞吐量（內(nèi)存中壓縮成本CPU）。我們建議您在部署到生產(chǎn)之前進(jìn)行測(cè)試和比較。