java - 如何分析约13GB的数据？

我有约300个文本文件，其中包含有关跟踪器，种子和同伴的数据。每个文件的组织方式如下:

tracker.txt

time torrent
    time peer
    time peer
    ...
time torrent
...

每个跟踪器我有几个文件，并且重复了很多信息(相同的信息，不同的时间)。

我希望能够分析我所拥有的并报告诸如此类的统计信息

每个跟踪器多少洪流

上列出了多少个洪流
激流有多少同龄人有

有多少与他人同行的种子有

庞大的数据量使我很难。这是我尝试过的。

MySQL

我把所有东西都放进数据库了；每个实体类型一个表和一个用于保存关系的表(例如，该种子在此跟踪器上)。

将信息添加到数据库很慢(尝试此操作时我没有13GB的信息)，但是事后分析这些关系是行不通的。每个轻度复杂的查询都需要24小时才能完成(如果有的话)。

查询示例为:

SELECT COUNT(DISTINCT torrent)
    FROM TorrentAtPeer, Peer
    WHERE TorrentAtPeer.peer = Peer.id
    GROUP BY Peer.ip;

我尝试增加my.cnf文件中的内存分配，但似乎没有帮助。我使用了my-innodb-heavy-4G.cnf设置文件。

编辑:添加表详细信息

这是我正在使用的:

Peer         Torrent                  Tracker
-----------  -----------------------  ------------------
id (bigint)  id (bigint)              id (bigint)
ip* (int)    infohash* (varchar(40))  url (varchar(255))
port (int)

TorrentAtPeer      TorrentAtTracker
-----------------  ----------------
id (bigint)        id (bigint)
torrent* (bigint)  torrent* (bigint)
peer* (bigint)     tracker* (bigint)
time (int)         time (int)

*indexed field. Navicat reports them as being of normal type and Btree method.
id - Always the primary key

没有外键。我对仅使用与现有实体相对应的ID的能力充满信心，添加外键检查似乎是不必要的延迟。这天真吗？

Matlab

这似乎是一个为繁重工作而设计的应用程序，但是我无法分配足够的内存来一次性容纳所有数据。

我没有数值数据，所以我使用的是单元格数组，因此我尝试着从这些数组转移到尝试减少占用空间的方法。我无法正常工作。

Java

迄今为止我最成功的尝试。我找到了Limewire员工提供的Patricia Tries的实现。使用此方法，我可以读取数据并计算我拥有多少个唯一实体:

13个跟踪器

170万种子

3200万个同行

我仍然发现很难计算出同行中激流的频率。我正在尝试通过建立这样的尝试来做到这一点:

Trie<String, Trie<String, Object>> peers = new Trie<String, Trie<String, Object>>(...);
for (String line : file) {
    if (containsTorrent(line)) {
        infohash = getInfohash(line);
    }
    else if (containsPeer(line)) {
        Trie<String, Object> torrents = peers.get(getPeer(line));
        torrents.put(infohash, null);
    }
}

从到目前为止的能力来看，如果我可以构建这个peers trie，那么我可以轻松地找出每个对等端有多少种子。我昨天全部运行了，当我回来时，我注意到该日志文件没有被写入，我对应用程序进行^Z编码，并且time报告了以下内容:

real 565m41.479s
user 0m0.001s
sys  0m0.019s

这在我看来不对，用户和sys是否应该这么低？我应该提到的是，我还将JVM的堆大小增加到了7GB(最大和开始)，而没有这样，我很快就会遇到内存不足的错误。

我不介意等待数小时/天，但看起来大约10个小时后事情就停了下来。

我想我的问题是，我该如何分析这些数据？我尝试过的东西正确吗？有什么我想念的吗？ Java解决方案似乎是迄今为止最好的，我可以做些什么来使其正常工作吗？

最佳答案

我会尝试另一种MySQL，但是使用不同的模式:

不要在此处使用id列

在此处使用自然主键:

对等:IP，端口
洪流:infohash
跟踪程序:网址
TorrentPeer :peer_ip，torrent_infohash，peer_port，时间
TorrentTracker :tracker_url，torrent_infohash，时间

对所有表使用innoDB引擎

这有几个优点:

InnoDB使用聚簇索引作为主键。意味着当您仅从主键列中请求数据时，可以直接从索引中检索所有数据，而无需进行额外的查找。因此，InnoDB表是某种索引组织的表。

较小，因为您不必存储代理 key 。 ->速度，因为获得相同结果的IO较少。

因为您使用了自然主键和外键，所以您现在可以不使用(昂贵的)联接就可以进行一些查询。例如，链接表TorrentAtPeer直接包含peer ip作为对等表的外键。如果您需要查询子网中对等方使用的种子，您现在可以不使用联接就可以进行查询，因为所有相关数据都在链接表中。

如果您想要每个对等点的洪流计数，并且您也想要对等点的ip记录在结果中，那么在此处使用自然主/外键时，我们再一次具有优势。

使用您的架构，您必须加入以检索ip:

SELECT Peer.ip, COUNT(DISTINCT torrent)
    FROM TorrentAtPeer, Peer
    WHERE TorrentAtPeer.peer = Peer.id
    GROUP BY Peer.ip;

使用自然的主/外键:

SELECT peer_ip, COUNT(DISTINCT torrent)
    FROM TorrentAtPeer
    GROUP BY peer_ip;

编辑
好吧，原始发布的架构不是真正的架构。现在，Peer表具有port字段。我建议在这里使用主键(ip，端口)，并仍然删除id列。这也意味着链接表需要具有多列外键。调整答案...