我正在使用fscrawler创建7TB以上的数据索引。索引可以正常开始,但是当索引大小达到2.6gb时便停止。我相信这是内存问题,如何配置内存?
我的机器内存为40GB,我为 flex 搜索分配了12GB。
最佳答案
您可能还需要使用 FS_JAVA_OPTS
为FSCrawler分配足够的内存。喜欢:
FS_JAVA_OPTS="-Xmx4g -Xms4g" bin/fscrawler
关于elasticsearch - 使用Elasticsearch索引7TB数据FScrawler在一段时间后停止,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/59254334/