如何累积渐变并在Tensorflow中进行多次迭代后应用它们

时间:2016-12-22 17:56:19

标签: tensorflow gradients accumulate

我使用Caffe一段时间但现在使用的是Tensorflow。 Caffe有一个超参数' iter_size',它累积了iter_size x batch_size个实例的渐变。当GPU内存有限且GPU不足时,使用iter_size

我想知道我们是否可以在Tensorflow中执行相同的操作。我见过这个question。它累积了梯度,但在对变量应用渐变后,它不会将累积的梯度重置为零。

0 个答案:

没有答案
相关问题