我正在使用hbase96进行分析。我通过定义startRow和endRow在行键范围上应用单列值过滤器来从hbase提取数据。
扫描单个请求的1500000条记录需要5-6分钟的时间，它无法处理并发请求。
如何提高hbase的扫描性能？
我们在amazone上有3个数据节点和2个主节点。
下面是我的代码
Scan s = new Scan();
s.setCaching(10000);
s.setStartRow(Bytes.toBytes(start_date));
s.setStopRow(Bytes.toBytes(end_date));
FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);
SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("ad_id"),
CompareOp.EQUAL, Bytes.toBytes(ad_id));
filters.addFilter(filter);
SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("advertiser_id"),
CompareOp.EQUAL, Bytes.toBytes(adver_id));
filters.addFilter(filter);
s.setFilter(filters);
ResultScanner rs = click_table.getScanner(s);
上面的代码如何在协同处理器中使用？
最佳答案
如果要基于列值进行扫描
那么下面是最好的方法