我正在使用CIFAR10示例运行Distributed Tensorflow，最多包含128个worker和1个参数服务器。
我想知道FLAGS.batch_size是否确定发送给EACH工作人员的每个批次的大小，或者这个FLAGS.batch_size是否确定发送给所有工作人员的每个批次的大小？
这种差异会影响性能，因为在太多工作人员之间拆分批处理会导致通信过多而计算量不足。
答案 0 :(得分：0)
分布式CIFAR10示例中的批处理大小是指每GPU的批处理大小。
（但这是一个很好的问题 - 一些同步模型将其称为聚合批量大小！）