我希望这是一个问这个问题的好地方,否则请将我重定向到正确的论坛。
我有大量数据(〜400GB),我需要分发到群集中的所有节点(〜100个节点)。我将尽力为您提供帮助,以帮助您做到这一点。
我本来想使用torrent来执行此操作,但遇到了很多问题。这些是我尝试的步骤:
我下载了ctorrent来创建torrent和种子并下载它。我有一个问题,因为我没有追踪器。
我发现qbittorrent-nox具有嵌入式跟踪器,因此我将其下载到了我的一个节点上并设置了跟踪器。
现在,我使用创建的跟踪器创建了torrent,并将其复制到我的节点中。
当我在具有实际数据的节点上使用ctorrent运行torrent来播种数据时,我得到了:
Seed for others 72 hours
- 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
当我在其中一个节点上运行以下载数据时,我得到:
- 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
所以看来他们没有连接到跟踪器好,但我不知道为什么
我可能做错了什么,但我无法弄清楚。
如果有人可以帮助我完成我的工作,或者有任何有效地分发数据的方式,即使没有洪流,我也会很高兴听到。
在此先感谢您提供的任何帮助。
最佳答案
但是应该播种的节点认为它具有文件的0%,因此不播种。
如果使用工具A创建元数据文件(.torrent
),然后使用工具B将其作为种子,则需要将B指向元数据和数据本身(内容文件)。
我知道现在这是一个不同的问题,可能需要一个不同的主题,但是我希望您可能有想法。
您应该创建一个新问题,该问题将有更多空间供您提供详细信息。
关于cluster-computing - 在群集上分发数据(使用Torrent?),我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46541713/