HBase MapReduce摘要到?jīng)]有Reducer的HBase

2018-04-10 11:03 更新

HBase MapReduce摘要到?jīng)]有Reducer的HBase

如果您使用 HBase 作為減速器(reducer),也可以在不使用減速器的情況下執(zhí)行摘要。

工作摘要需要 HBase 目標(biāo)表。Table 方法 incrementColumnValue 將用于自動(dòng)增加值。從性能角度來(lái)看,對(duì)于每個(gè) map-task,保留一個(gè) value 值為 map 的值,并且 在 mapper 的 cleanup 方法期間為每個(gè) key 設(shè)置一次更新可能是有意義的。但是,根據(jù)要處理的行數(shù)和唯一鍵的不同,您的里程可能會(huì)有所不同。

最后,摘要結(jié)果在 HBase 中。

以上內(nèi)容是否對(duì)您有幫助:
在線(xiàn)筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)