我正在使用fscrawler创建7TB以上的数据索引。索引可以正常开始,但是当索引大小达到2.6gb时便停止。我相信这是内存问题,如何配置内存?

我的机器内存为40GB,我为 flex 搜索分配了12GB。

elasticsearch - 使用Elasticsearch索引7TB数据FScrawler在一段时间后停止-LMLPHP

最佳答案

您可能还需要使用 FS_JAVA_OPTS 为FSCrawler分配足够的内存。喜欢:

FS_JAVA_OPTS="-Xmx4g -Xms4g" bin/fscrawler

关于elasticsearch - 使用Elasticsearch索引7TB数据FScrawler在一段时间后停止,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/59254334/

10-15 20:05