Keras：从HDF5和CSV

Question

我有一个大的数据集，太大而无法放入RAM中，可以用作HDF5或CSV。我怎样才能将它送入Keras的迷你吧？此外，这会为我改变它，还是我需要预先洗牌数据集？

（当输入是Numpy重新排列时，我也对此感兴趣;因为Keras我相信希望输入是ndarray。）

并且，如果我想在学习之前在Keras中进行一些轻量级预处理（例如，将一些Python函数应用于数据以更改表示），那么可以添加hcan吗？

Answer 1

在这里查看Keras提供的fit_generator方法：https://keras.io/models/sequential/#sequential-model-methods 它适用于Python生成器逐批生成的数据模型（您可以编写随机逻辑，因为生成器在您的控制之下）。

您可以在发电机本身内应用呼叫预处理。

希望这有帮助。