hadoop - 如何在 HBase 表中设置 autoflush=false

我有这段代码可以保存到 HBase HTABLE。预期的行为是该表将为每个分区推送提交或“刷新”到 hbase 的放置。

注意:这是更新的代码

rdd.foreachPartition(p => {
  val table = connection.getTable(TableName.valueOf(HTABLE))
  val mutator = connection.getBufferedMutator(TableName.valueOf(HTABLE))

  p.foreach(row => {
    val hRow = new Put(rowkey)
    hRow.addColumn....
    // use table.exists instead of table.checkAndPut (in favor of BufferedMutator's flushCommits)
    val exists = table.exists(new Get(rowkey))
    if (!exists) {
      hRow.addColumn...
    }
    mutator.mutate(hRow)
  })
  table.close()
  mutator.flush()
  mutator.close()
})

在 HBase 1.1 中，不推荐使用 HTable，并且 org.apache.hadoop.hbase.client.Table 中没有可用的 flushCommits()。

替换 BufferedMutator.mutate(put) 对于普通的 put 是可以的，但是 mutator 没有任何类似于 Table 的 checkAndPut。

最佳答案

您需要将 autoFlush 设置为 false，请参阅第 11.7.4 节
在 http://hbase.apache.org/0.94/book/perf.writing.html

关于hadoop - 如何在 HBase 表中设置 autoflush=false，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/31356639/