HBase:MultiWAL支持

2018-05-28 14:40 更新

MultiWAL

每個RegionServer都有一個WAL,RegionServer必須以串行方式寫入WAL,因為HDFS文件必須是連續(xù)的。這導致WAL成為性能瓶頸。

HBase 1.0在HBASE-5699中引入了支持MultiWal 。MultiWAL允許RegionServer通過在底層HDFS實例中使用多個管道來并行寫入多個WAL流,從而在寫入過程中增加總吞吐量。這種并行化是通過將區(qū)域傳入的編輯分區(qū)來完成的。因此,當前的實現(xiàn)將無助于提高單個區(qū)域的吞吐量。

使用原始WAL實現(xiàn)的RegionServers和使用MultiWAL實現(xiàn)的RegionServers可以分別處理任意一組WAL的恢復,因此通過滾動重啟可以實現(xiàn)零停機配置更新。

配置MultiWAL

要為RegionServer配置MultiWAL,請通過在XML中粘貼以下內容來將屬性hbase.wal.provider的值設置為multiwal:

<property>
  <name>hbase.wal.provider</name>
  <value>multiwal</value>
</property>

重新啟動RegionServer以使更改生效。

要為RegionServer禁用MultiWAL,請取消設置該屬性并重新啟動RegionServer。

以上內容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號