在集群上分发数据(使用种子?)

时间:2017-10-03 09:48:57

标签: cluster-computing file-transfer bittorrent

我希望这是一个讨论这个问题的好地方,否则请将我重定向到正确的论坛。 我需要将大量数据(~400GB)分发到集群中的所有节点(~100个节点)。任何有关如何做到这一点的帮助将不胜感激,以下是我尝试过的。 我正在考虑使用种子来做这件事,但我遇到了很多问题。这些是我尝试的步骤:

  1. 我下载了ctorrent来创建torrent和种子并下载它。我遇到了问题,因为我没有跟踪器。
  2. 我发现qbittorrent-nox有一个嵌入式跟踪器,所以我在我的一个节点上下载了它并设置了跟踪器。
  3. 我现在使用我创建的跟踪器创建了torrent并将其复制到我的节点。
  4. 当我在节点上运行带有ctorrent的torrent并在其上有实际数据来播种我得到的数据时:

     Seed for others 72 hours
     - 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
    
  5. 当我在其中一个节点上运行以下载数据时,我得到了:

     - 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
    
  6. 所以看来他们没有连接到智能设备,但我不知道为什么

  7. 我可能做错了什么,但我无法弄清楚。 如果有人可以帮助我做我正在做的事情,或者有任何方式有效地分发数据,即使不是用种子,我也会很高兴听到。

    提前感谢您提供的任何帮助。

2 个答案:

答案 0 :(得分:0)

  

但是应该播种的节点认为它有0%的文件,因此它不会播种。

如果您使用工具A创建元数据文件(.torrent),然后想要使用工具B对其进行播种,那么您需要将B指向元数据和数据(内容文件)本身。

  

我知道这是一个不同的问题,可能需要一个不同的主题,但我希望你可能有想法。

您应该创建一个新问题,为您提供更多空间来提供详细信息。

答案 1 :(得分:0)

所以这很令人尴尬,我可能已经有一段时间了,但是自从我开始以来我确实改变了我的实现。我刚刚重新检查,我正在转移的文件在我早先的一次尝试中被破坏,我从那时起就一直在使用它们。

总而言之,如果其他人最终需要相同的设置,这对我有用: 我使用“transmission-create / path / to / file /或/ directory / to / be / torrented -o /path/to/output/directory/output_file_name.torrent”创建种子(这是因为qbittorrent-nox不提供我能找到创造种子的工具) 我使用实际文件在计算机上运行torrent,因此它将使用“qbittorrent-nox~ / path / to / torrent / file / name_of_file.torrent”播种 我将.torrent文件复制到所有节点并运行“qbittorrent-nox~ / path / to / torrent / file / name_of_file.torrent”开始下载

我需要配置的qbittorrent设置: 在“下载”中将“将文件保存到位置”更改为将要播种的节点中的数据位置#otherwise节点不知道它具有在torrent中指定的文件并且不会播种它们。

为了避免种子问题有时候从排队开始并需要“强制恢复”。这似乎没有100%解决问题

在“速度”选项卡中,取消选中“启用带宽管理(uTP)”
               取消选中“对uTP连接应用速率限制”
在“BitTorrent”选项卡中取消选中“Torrent Queuing”

感谢所有的帮助,对不起,我从某种角度无缘无故地打扰了人们。