我有下面的Lucene代码用于索引，当我用100万个记录运行这个代码时，它运行得很快（在15秒内索引（本地和服务器配置都很高））。
当我尝试索引2000万个记录时，它花费大约10分钟来完成索引。
我在Linux服务器上运行这2000万条记录，内存超过100GB。在这种情况下，设置更多的ram缓冲区大小有帮助吗？如果是的话，在我的情况下可以设置多少内存大小（我有超过100GB的内存）
我在本地计算机上尝试了同样的2000万条记录（8 GB RAM），花费了同样的10分钟，我在本地计算机上尝试了同样的10分钟设置1 GB RAM缓冲区大小，而没有为本地计算机上的2000万条记录设置任何RAM缓冲区也同样的10分钟。
我尝试在Linux中不设置RAM缓冲区大小，2000万条记录大约需要8分钟。
final File docDir = new File(docsPath.getFile().getAbsolutePath());
LOG.info("Indexing to directory '" + indexPath + "'...");
Directory dir = FSDirectory.open(new File(indexPath.getFile().getAbsolutePath()));
Analyzer analyzer = null;
IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_47, analyzer);
iwc.setOpenMode(OpenMode.CREATE_OR_APPEND);
iwc.setRAMBufferSizeMB(512.0);
IndexWriter indexWriter = new IndexWriter(dir, iwc);
if (docDir.canRead()) {
if (docDir.isDirectory()) {
String[] files = docDir.list();
if (files != null) {
for (int i = 0; i < files.length; i++) {
File file = new File(docDir, files[i]);
String filePath = file.getPath();
String delimiter = BatchUtil.getProperty("file.delimiter");
if (filePath.indexOf("ecid") != -1) {
indexEcidFile(indexWriter, file, delimiter);
} else if (filePath.indexOf("entity") != -1) {
indexEntityFile(indexWriter, file, delimiter);
}
}
}
}
}
indexWriter.forceMerge(2);
indexWriter.close();
以及用于索引的方法之一：
private void indexEntityFile(IndexWriter writer, File file, String delimiter) {
FileInputStream fis = null;
try {
fis = new FileInputStream(file);
BufferedReader br = new BufferedReader(new InputStreamReader(fis, Charset.forName("UTF-8")));
Document doc = new Document();
Field four_pk_Field = new StringField("four_pk", "", Field.Store.NO);
doc.add(four_pk_Field);
Field cust_grp_cd_Field = new StoredField("cust_grp_cd", "");
Field cust_grp_mbrp_id_Field = new StoredField("cust_grp_mbrp_id", "");
doc.add(cust_grp_cd_Field);
doc.add(cust_grp_mbrp_id_Field);
String line = null;
while ((line = br.readLine()) != null) {
String[] lineTokens = line.split("\\" + delimiter);
four_pk_Field.setStringValue(four_pk);
String cust_grp_cd = lineTokens[4];
cust_grp_cd_Field.setStringValue(cust_grp_cd);
String cust_grp_mbrp_id = lineTokens[5];
cust_grp_mbrp_id_Field.setStringValue(cust_grp_mbrp_id);
writer.addDocument(doc);
}
br.close();
} catch (FileNotFoundException fnfe) {
LOG.error("", fnfe);
} catch (IOException ioe) {
LOG.error("", ioe);
} finally {
try {
fis.close();
} catch (IOException e) {
LOG.error("", e);
}
}
}
有什么想法吗？
最佳答案
这种情况会发生，因为您试图在一次提交中索引所有2000万个文档（lucene需要在内存中保存所有2000万个文档）。应该做些什么来修复它-就是添加
writer.commit()
在indexentityfile方法中，每个x都添加了文档。X可能是100万或是类似的
代码可能是这样的（只是显示方法，您需要根据需要修改此代码）
int numberOfDocsInBatch = 0;
...
writer.addDocument(doc);
numberOfDocsInBatch ++;
if (numberOfDocsInBatch == 1_000_000) {
writer.commit();
numberOfDocsInBatch = 0;
}
关于java - 使用2000万条记录进行Lucene索引需要花费更多时间，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/28319493/