如何只更改一些参数值并行运行ipython笔记本?

时间:2013-09-18 11:45:57

标签: python-2.7 ipython ipython-notebook

我有一个带有多个单元格的IPython笔记本,我想要并行运行几次,但只有一些参数(在笔记本单元格内部定义)之间存在差异。最简单的方法是什么?

我有一个12核的工作站。每当我运行笔记本时,它只使用其中一个核心。我想使用其他内核来运行完全相同的笔记本,但对某些参数进行了一些修改。有可能吗?

非常感谢

1 个答案:

答案 0 :(得分:0)

我实际上找到了一种方法。

import multiprocessing
list_of_variables=something #a 2D numpy array with all your combinations of variable values, 
             #each row has a different combination of parameter values
number_of_combinations=shape(list_of_variables)[0] #number of rows
def notebook(i):
    variables=list_of_variables[i,:]
    #all your code here
pool = multiprocessing.Pool(processes=n)  # Create a pool with n workers.
pool.map(notebook,range(number_of_combinations)) 
pool.close()
pool.join()

在上面的代码中,笔记本是一个python函数,它接收一个数字作为输入,获取此迭代的变量值并运行每个原始单元格。