带有估计量的多GPU训练

时间:2019-06-14 10:02:13

标签: tensorflow tensorflow-datasets tensorflow-estimator

在此链接https://www.tensorflow.org/beta/tutorials/distribute/multi_worker_with_estimator中,他们说,在使用Estimator进行多工作人员训练时,有必要按工作人员的数量对数据集进行分片以确保模型收敛。对于多工作人员,它们意味着多个gpu系统还是分布式培训?我在一个系统中有2个GPU,我是否必须分片数据集?

1 个答案:

答案 0 :(得分:1)

不,您不-多个工作程序引用一台计算机。

对于具有多个GPU的单台计算机,无需分片。

本教程介绍了多个GPU所需的MirroredStrategy:https://www.tensorflow.org/beta/tutorials/distribute/keras

对于用于不同设置的不同分布式策略,您可以在这里参考以获取更多信息:https://www.tensorflow.org/beta/guide/distribute_strategy#types_of_strategies