与Cython内存视图并行化

时间:2014-06-19 20:01:01

标签: parallel-processing cython

这是我尝试做的最小例子。我计算了我已经排列成堆叠阵列的矩阵之间的成对距离。 idx数组保存每个子矩阵的偏移量。

当我删除parallel()并将prange替换为range时,代码按预期工作(当然不是并行)。

import numpy as np
cimport numpy as np
cimport cython
from cython.parallel import parallel, prange

@cython.boundscheck(False)
@cython.wraparound(False)
@cython.nonecheck(False)
def all_pairs_distance(float[:,::1] stacked, int[::1] idx):
  cdef int n = idx.shape[0] - 1
  cdef float[:,::1] D = np.zeros((n,n), dtype='float32')
  cdef int i,j
  cdef float[:,::1] t1,t2
  cdef float d
  with nogil, parallel():
    for i in prange(n):
      t1 = stacked[idx[i]:idx[i+1],:]
      for j in range(i+1, n):
        t2 = stacked[idx[j]:idx[j+1],:]
        d = nogil_cython_function(t1, t2)
        D[i,j] = d
        D[j,i] = d
  return D

cdef float nogil_cython_function(float[:,::1] a, float[:,::1] b) nogil:
  # Function abbreviated for simplicity
  return 0.0

尝试编译此文件时,我对t1t2的每项作业都会出错:

Memoryview slices can only be shared in parallel sections
  1. 我不确定如何解决此错误。这些作业不在并行部分吗?
  2. 如何告诉编译器我的stacked内存视图是只读的,并且可以在线程之间共享?

1 个答案:

答案 0 :(得分:9)

经过一些实验后,我想通了:

for i in prange(n, nogil=True):
  for j in range(i+1, n):
    d = nogil_cython_function(stacked[idx[i]:idx[i+1],:],
                              stacked[idx[j]:idx[j+1],:])

需要注意的是,在prange内切片内存视图很好,但是将这些切片分配给变量不是。