将记录添加到空间层后 Neo4J 性能大幅下降

所以我有大约 7000 万条空间记录要添加到空间图层中(我已经用一个小集合进行了测试，一切都很顺利，查询返回的结果与 postgis 相同，图层操作似乎很好)
但是，当我尝试将所有空间记录添加到数据库时，性能迅速下降到大约 500 万(大约 2 小时运行时间)记录并在大约 770 万(经过 8 小时后)时变得非常缓慢。

由于空间索引是一个使用图结构来构建自己的Rtree，我想知道为什么当os记录数量增加时它会降级。
如果我没记错的话，Rtree 插入是 O(n)，这就是为什么我担心它可能是边界框的重新排列之间的事情，不是树叶的节点导致 addToLayer 过程随着时间的推移变慢。

目前我像这样向层添加节点(很多硬编码的东西，因为我试图在模式和代码样式之前找出问题):

Transaction tx = database.beginTx();
    try {

        ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);
        long i = 0L;
        for (Node node : layerNodes) {
            Transaction tx2 = database.beginTx();
            try {
                layer.add(node);
                i++;
                if (i % commitInterval == 0) {
                    log("indexing (" + i + " nodes added) ... time in seconds: "
                            + (1.0 * (System.currentTimeMillis() - startTime) / 1000));
                }
                tx2.success();
            } finally {
                tx2.close();
            }
        }
        tx.success();
    } finally {
        tx.close();
    }

有什么想法吗？关于如何提高性能的任何想法？

ps:使用java API
Neo4j 2.1.2，空间 0.13
酷睿 i5 3570k @4.5Ghz，32GB 内存
专用的 2TB 7200 硬盘到数据库(没有操作系统，没有虚拟内存文件，只有数据本身)

ps2.:所有几何图形都是 LineStrings(如果那很重要:P)它们代表街道、道路等。

ps3.:节点已经在数据库中，我只需要将它们添加到图层中，以便我可以执行空间查询，bbox 和 wkb 属性都可以，经过测试并适用于一小部分。

先感谢您

再次修改并运行代码后(将点插入数据库只需要5小时，不涉及层)发生这种情况，将尝试增加jvm堆和embeddedgraph内存参数。

indexing (4020000 nodes added) ... time in seconds: 8557.361
Exception in thread "main" org.neo4j.graphdb.TransactionFailureException: Unable to commit transaction
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:140)
    at gis.CataImporter.addDataToLayer(CataImporter.java:263)
    at Neo4JLoadData.addDataToLayer(Neo4JLoadData.java:138)
    at Neo4JLoadData.main(Neo4JLoadData.java:86)
Caused by: javax.transaction.SystemException: Kernel has encountered some problem, please perform neccesary action (tx recovery/restart)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
    at org.neo4j.kernel.impl.transaction.KernelHealth.assertHealthy(KernelHealth.java:61)
    at org.neo4j.kernel.impl.transaction.TxManager.assertTmOk(TxManager.java:339)
    at org.neo4j.kernel.impl.transaction.TxManager.getTransaction(TxManager.java:725)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:119)
    ... 3 more
Caused by: javax.transaction.xa.XAException
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:560)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:448)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:385)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.commit(TransactionImpl.java:123)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:124)
    at gis.CataImporter.addDataToLayer(CataImporter.java:256)
    ... 2 more
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.neo4j.kernel.impl.nioneo.store.DynamicRecord.clone(DynamicRecord.java:179)
    at org.neo4j.kernel.impl.nioneo.store.PropertyBlock.clone(PropertyBlock.java:215)
    at org.neo4j.kernel.impl.nioneo.store.PropertyRecord.clone(PropertyRecord.java:221)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:118)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:81)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.ensureHasBeforeRecordImage(RecordChanges.java:217)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.prepareForChange(RecordChanges.java:162)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.forChangingData(RecordChanges.java:157)
    at org.neo4j.kernel.impl.nioneo.xa.PropertyCreator.primitiveChangeProperty(PropertyCreator.java:64)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransactionContext.primitiveChangeProperty(NeoStoreTransactionContext.java:125)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransaction.nodeChangeProperty(NeoStoreTransaction.java:1244)
    at org.neo4j.kernel.impl.persistence.PersistenceManager.nodeChangeProperty(PersistenceManager.java:119)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation$1.visitNodePropertyChanges(KernelTransactionImplementation.java:344)
    at org.neo4j.kernel.impl.api.state.TxStateImpl$6.visitPropertyChanges(TxStateImpl.java:238)
    at org.neo4j.kernel.impl.api.state.PropertyContainerState.accept(PropertyContainerState.java:187)
    at org.neo4j.kernel.impl.api.state.NodeState.accept(NodeState.java:148)
    at org.neo4j.kernel.impl.api.state.TxStateImpl.accept(TxStateImpl.java:160)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.createTransactionCommands(KernelTransactionImplementation.java:332)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.prepare(KernelTransactionImplementation.java:123)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.prepareKernelTx(XaResourceManager.java:900)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.commit(XaResourceManager.java:510)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceHelpImpl.commit(XaResourceHelpImpl.java:64)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:548)
    ... 7 more

28/07 -> 增加内存没有帮助，现在我正在测试 RTreeIndex 和 LayerRTreeIndex 中的一些修改(maxNodeReferences 字段究竟做了什么？

// Constructor

public LayerRTreeIndex(GraphDatabaseService database, Layer layer) {
    this(database, layer, 100);
}

public LayerRTreeIndex(GraphDatabaseService database, Layer layer, int maxNodeReferences) {
    super(database, layer.getLayerNode(), layer.getGeometryEncoder(), maxNodeReferences);
    this.layer = layer;
}

它被硬编码为 100，并且当(明智地添加节点数)我的 addToLayer 方法崩溃到 OutOfMemory 错误时，更改其值会发生变化，如果我没记错，更改该字段的值会增加或减少树的宽度和深度(100 比 50 宽，并且 50 比 100 深)。

总结到目前为止的进展:

@Jim

更正了交易的错误用法

内存堆根据@Peter 的建议增加到 27GB

需要 3 个空间层，但现在问题变得真实，因为它们是大层。

在向空间层添加节点时做了一些内存分析，我发现了一些有趣的点。

内存和 GC 分析:http://postimg.org/gallery/biffn9zq/

在整个过程中使用最多内存的类型是 byte[]，我只能假设它属于几何 wkb 属性(几何本身或 rtree 的 bbox)。
考虑到这一点，我还注意到(您可以查看新的分析图像)使用的堆空间量永远不会低于 18GB 标记。

根据这个问题 are java primitives garbage collected
java中的原始类型是原始数据，因此不会受到垃圾收集的影响，并且只有在方法返回时才从方法的堆栈中释放出来(所以也许当我创建一个新的空间层时，所有这些 wkb 字节数组将保留在内存中，直到我手动关闭图层对象)。

这有任何意义吗？有没有更好的方法来管理内存资源，以便该层不会保留未使用的旧数据加载？

最佳答案

卡塔卡瓦科，

您将每个添加作为单独的事务进行。要使用您的 commitInterval，您需要将代码更改为这样的内容。

Transaction tx = database.beginTx();

try {
    ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);

    long i = 0L;

    for (Node node : layerNodes) {
        layer.add(node);
        i++;

        if (i % commitInterval == 0) {
            tx.success();
            tx.close();

            log("indexing (" + i + " nodes added) ... time in seconds: "
                + (1.0 * (System.currentTimeMillis() - startTime) / 1000));

            tx = database.beginTx();
        }
    }

    tx.success();
} finally {
    tx.close();
}

看看这是否有帮助。

恩典与平安，

吉姆

关于将记录添加到空间层后 Neo4J 性能大幅下降，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/24973841/