HBase性能調(diào)整：網(wǎng)絡(luò)

網(wǎng)絡(luò)

避免網(wǎng)絡(luò)問題降低Hadoop和HBase性能的最重要因素可能是所使用的交換硬件，在項目范圍的早期做出的決策可能會導(dǎo)致群集大小增加一倍或三倍（或更多）時出現(xiàn)重大問題。

需要考慮的重要事項：

• 切換設(shè)備的容量
• 連接的系統(tǒng)數(shù)量
• 上行鏈路容量
  

單個交換機(jī)

此配置中最重要的一個因素是硬件的交換容量能夠處理連接到交換機(jī)的所有系統(tǒng)可以生成的通信量。一些較低價格的商用硬件可以具有比完整交換機(jī)可以使用的更慢的交換容量。

多個交換機(jī)

多個交換機(jī)是架構(gòu)中的潛在缺陷。低價硬件的最常見配置是從一個交換機(jī)到另一個交換機(jī)的簡單1Gbps上行鏈路。這種經(jīng)常被忽視的夾點(diǎn)很容易成為集群通信的瓶頸。特別是對于讀取和寫入大量數(shù)據(jù)的MapReduce作業(yè)，此上行鏈路上的通信可能會飽和。

緩解這個問題非常簡單，可以通過多種方式實現(xiàn)：

• 使用適當(dāng)?shù)挠布硖幚砟鷩L試構(gòu)建的群集的規(guī)模。
• 使用較大的單個交換機(jī)配置，即單個48端口，而不是2個24端口
• 為上行鏈路配置端口中繼，以利用多個接口來增加交叉交換機(jī)帶寬。

多個機(jī)架

多個機(jī)架配置具有與多個交換機(jī)相同的潛在問題，并且可能會從兩個主要方面降低性能：

• 交換容量性能不佳
• 上行鏈路到另一個機(jī)架的能力不足

如果機(jī)架中的交換機(jī)具有適當(dāng)?shù)慕粨Q容量以全速處理所有主機(jī)，則下一個最可能出現(xiàn)的問題將是通過在機(jī)架中引導(dǎo)更多群集引起的?？缭蕉鄠€機(jī)架時避免問題的最簡單方法是使用端口中繼來創(chuàng)建到其他機(jī)架的綁定上行鏈路。然而，這種方法的缺點(diǎn)是可能使用的端口開銷。例如，從機(jī)架A到機(jī)架B創(chuàng)建一個8Gbps端口通道，使用24個端口中的8個在機(jī)架之間進(jìn)行通信會降低投資回報率，但使用太少可能意味著您無法從群集中獲得最大的收益。

在機(jī)架之間使用10Gbe鏈接將大大提高性能，并且假設(shè)您的交換機(jī)支持10Gbe上行鏈路或允許擴(kuò)展卡，則允許您為計算機(jī)保存端口，而不是上行鏈路。

網(wǎng)絡(luò)接口

確認(rèn)所有網(wǎng)絡(luò)接口是否都正常運(yùn)行。

網(wǎng)絡(luò)一致性和分區(qū)容錯度

CAP定理指出，分布式系統(tǒng)可以維持以下三種特性中的兩種： - *C*onsistency - 所有節(jié)點(diǎn)都看到相同的數(shù)據(jù)。 - *A*vailability - 每個請求都會收到有關(guān)它是成功還是失敗的響應(yīng)。 - *P*artition tolerance - 即使其他組件無法使用，系統(tǒng)也會繼續(xù)運(yùn)行。

HBase有利于一致性和分區(qū)容錯度，必須做出決定。Coda Hale解釋了為什么分區(qū)容錯度如此重要，請訪問http://codahale.com/you-cant-sacrifice-partition-tolerance/。