我正在尝试将800gb的json文件从远程服务器上传到本地服务器，但是elasticsearch不断被杀死。
我正在使用此代码上传数据
curl -XPOST http://localhost:9200/carrier/data/ [email protected]
这是因为发布请求无法处理800 GB或某个地方缺少配置Ive。 Ive还适当地映射了所有内容，因为较小的文件易于上传。
最佳答案
为了索引文档，elasticsearch需要首先在内存中分配该文档，然后再次以分析后的形式对其进行缓冲。因此，您通常会为要索引的文档寻找两倍的内存(这比它复杂，但是2x是一个很好的近似值)。因此，除非您的计算机上有1.6tb的内存，否则我不应该尝试为800gb的文档建立索引。如果您在此json中有多个文档，则需要将它们拆分为大块，然后使用多个Bulk Requests发送到elasticsearch。