TensorFlow：运行时的OOM

Question

在运行期间，我的模型开始耗尽内存（大约3k次迭代）和批次（全部大小为64）。

在使用等效批次的初始迭代期间，它没有运行OOM。

我运行tensorboard summeries，Adam优化器并使用while循环进行RNN。

运行模型时内存增加的原因是什么，如何跟踪内存使用情况？通常，张量板只占据完整的记忆。

Answer 1

您可以使用Timeline跟踪内存使用情况。

我不知道为什么内存会随着迭代而累积。一种可能的解决方法是在内存不足之前将模型save转换为磁盘，然后恢复以继续训练。