Keras使用多个CPU内核生成数据

时间:2020-04-05 06:14:57

标签: python-3.x tensorflow keras multiprocessing

我的神经网络的训练数据无法存储在内存中。如果我使用单个核来生成训练数据,则由于数据量很大,它会变得非常慢。

我一直在阅读有关Keras.Utils.Sequence及其对多核友好的信息。据我所知,关于此类的文档很少甚至没有。我能找到的唯一有用的例子是: https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly

我仍然不明白如何使多个核心有助于为keras生成单批训练数据。我绝对需要这个来避免瓶颈神经网络。

谢谢

0 个答案:

没有答案
相关问题