如何在模型中找到瓶颈?

时间:2018-06-21 15:25:59

标签: python machine-learning

我一直在测试word2vec模型。由于某些原因,这个word2vec模型使用的GPU不多。我的性能大约是每30秒1个纪元,大约有2000个样本数据集。

这似乎不正常。有研究人员拥有数十亿字节的训练数据,我怀疑他们正在等待数月才能完成训练。

我的GPU是gtx970。内存使用率约为10%(请注意,我也打开了一些程序)

问题可能是批次本身,尽管我不确定。

基本上,我在训练开始时就运行一个方法,然后在训练时对列表中的条目进行迭代。

这大致就是我的操作方式。 我的方法错了吗? (我想这不适用于庞大的数据集)

batch_method(batch_size=x) # I tested with different sizes, all seem to train fine, from 2 to 512.
for epo in self.epochs_num:
    for batch in self.batch_list:
        for input,target in batch:
        ...

0 个答案:

没有答案