Question

我正在尝试使用Dask增强代码的性能。在我当前使用pandas的代码中，我在其他参数上应用了一些其他过程，但是使用Dask却不能完全一样。这是我用作飞行员测试的代码：

import pandas as pd
import numpy as np
import dask.dataframe as dd

# create a random Dataframe
df = pd.DataFrame()
df['col1'] = np.random.normal(size = 100)
df['col2'] = np.random.normal(size = 100)

# the function to be to be applied to Dataframe 
def my_func(x, y, a_list):
    if x>0.7:
        a_list.append(x)
    return x**(y*2 + 1)

# Using Dask to apply my_func
my_list = []
ddf = dd.from_pandas(df, npartitions=4).map_partitions(lambda df: df.apply(lambda row:my_func(row.col1, row.col2, my_list), axis=1)).compute(scheduler='processes')

# Using pandas to apply my_func
my_list = []
data = df.apply(lambda row: my_func(row.col1, row.col2, my_list), axis=1)

如您所见，它不仅在数据帧上应用了一个函数，而且还使用数据帧数据来处理另一个数据结构，这里是一个列表。应用Dask后的my_list大小仅为2，这是非常错误的。因此，我想知道此过程出了什么问题，因为它们看起来都具有用于定义参数的相同格式，因此无法正常工作

Pandas：.apply（func，convert_dtype = True，args =（），** kwds）

黄昏：.apply（函数，轴= 0，广播=无，原始=假，缩小=无，args =（）， meta =' no_default '，** kwds）

如何将外部参数传递给Dask？

0 个答案: