关于Keras中CPU多核的分布式培训

时间:2019-05-24 20:00:28

标签: keras distributed-computing

根据我在不同的帖子和博客中所读的内容以及我的有限试用版,看来Tensorflow和Keras都在单个计算机上使用了尽可能多的CPU内核。这是有道理的(确实非常好),但这是否意味着Keras将跨多个核心进行分布式培训?这就是我要做的事情:我有一个中等模型,但数据集很大,并且想要在内核之间分配不同批次的学习信息。我对并行和分布式处理没有太多的了解,但是我只是猜测,分布式学习需要在基本的多线程/多任务基础上进行一些额外的数据处理以及梯度计算和聚合。当在一台机器上使用同一CPU的不同内核时,Keras是否会自动执行此操作?我该如何检查?

如果我想走得更远并且使用多台计算机进行分布式培训,每个人都指的是https://www.tensorflow.org/deploy/distributed。 但这有点复杂,没有具体提及Keras。是否还有其他资料专门讨论通过Tensorflow进行Keras模型的分布式训练?

0 个答案:

没有答案