我在Python中运行一些模型,并在类别上使用数据子集。
对于内存使用和预处理,所有分类变量都存储为类别数据类型。
对于我的'组中的每个级别的分类变量,按'列,我正在运行回归,我需要将所有分类变量重置为该子集中存在的变量。
我目前正在使用.cat.remove_unused_categories()
执行此操作,这占我总运行时间的近50%。目前,最糟糕的罪犯是我的分组专栏,其他人没有花太多时间(因为我猜没有那么多级别下降)。
这是一个简化的例子:
import itertools
import pandas as pd
#generate some fake data
alphabets = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z']
keywords = [''.join(i) for i in itertools.product(alphabets, repeat = 2)]
z = pd.DataFrame({'x':keywords})
#convert to category datatype
z.x = z.x.astype('category')
#groupby
z = z.groupby('x')
#loop over groups
for i in z.groups:
x = z.get_group(i)
x.x = x.x.cat.remove_unused_categories()
#run my fancy model here
在我的笔记本电脑上,大约需要20秒。对于这个小例子,我们可以转换为str,然后返回到类别以加速,但我的真实数据每组至少有300行。
是否可以加快此循环?我尝试使用x.x = x.x.cat.set_categories(i)
需要花费相同的时间,而x.x.cat.categories = i
则要求使用与我开始时相同数量的类别。
答案 0 :(得分:7)
您的问题在于您将z.get_group(i)
分配给x
。 x
现在是z
的一部分的副本。您的代码可以正常使用此更改
for i in z.groups:
x = z.get_group(i).copy() # will no longer be tied to z
x.x = x.x.cat.remove_unused_categories()