我有一个只搜寻一个网站的搜寻器。但是一个网站可以有数千个页面。
每个页面都是一个顶点,为此我使用JGraphT
。
但是,如果我爬行一个巨大的网站,片刻后我会得到一个StackOverflowError
。
在这种情况下,如何处理大量数据?
我必须使用数据库吗?
有一个库可以处理数据库中这种特定类型的数据(顶点,边等)?
谢谢
最佳答案
您可能想使用Neo4j,它是一种高性能的NOSQL图形数据库。
我有一个只搜寻一个网站的搜寻器。但是一个网站可以有数千个页面。
每个页面都是一个顶点,为此我使用JGraphT
。
但是,如果我爬行一个巨大的网站,片刻后我会得到一个StackOverflowError
。
在这种情况下,如何处理大量数据?
我必须使用数据库吗?
有一个库可以处理数据库中这种特定类型的数据(顶点,边等)?
谢谢
最佳答案
您可能想使用Neo4j,它是一种高性能的NOSQL图形数据库。