利用Tensorflow

Question

我可以访问具有多个CPU核心的计算机（即56），当使用Tensorflow训练模型时，我希望通过使每个核心成为模型的独立培训者来最大限度地利用上述核心。

在Tensorflow的文档中，我发现了这两个参数（Inter和Intra Op并行性），它们在训练模型时控制并行性。但是，这两个参数不允许执行我的意图。

如何让每个核心成为一个独立的工作者？ （即，每个工作人员对批量样本进行分片，然后每个工作人员根据分配的样本计算渐变。最后，每个工作人员根据梯度更新变量（由所有工人共享）已经算了。

Answer 1

为了有效地并行化所有56个CPU内核，您必须使用Distributed TensorFlow。也可以使用线程进行并行化，但对于如此多的内核，它不能很好地扩展。