当HDF5中的文件数小于批处理时会发生什么

Question

我有一个hdf5层，它将list.txt中的信息读取为

layer {
  name: "data"
  type: "HDF5Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  hdf5_data_param {
    source: "./list.txt"
    batch_size: 4
    shuffle: true
  }
}

其中list.txt包含两个路径文件

/home/user/file1.h5
/home/user/file2.h5

批量大小为4.上述代码会发生什么？数据可以选择4个文件来提供网络吗？

Answer 1

您有两个hdf5文件，但每个文件可能包含多个训练示例。因此，实际上，您可能会有超过batch_size: 4个例子。

Caffe并不真正关心训练样例的实际数量：当它完成处理所有示例（又名＆＃34; epoch＆＃34;）时，它只是重新开始阅读样本。 Caffe循环遍历所有样本，直到达到训练/测试迭代次数。