通过分类列扩展pandas数据框

Question

我正在尝试通过在一个分类列中创建更多特定于值的列来扩展数据框。我的数据框如下所示：

基于列cluster的值，我想创建一个新的数据框，其内容应如下所示：

var1_clus0 , var1_clus1, ... var3_clus2

我有一个庞大的数据集，因此，我试图在嵌套的for循环中执行此操作，该循环对于簇列的第一个值工作正常，而其他所有条件都具有NaN。

下面是我的脚本：

data_trans = pd.DataFrame()

for i in np.arange(0, len(varlist),1):
    for j in np.arange(0,6,1):
        data_trans[str(varlist[i]) + str("_clus_") + str(j)] = data[(data.segment_hc_print == j)][varlist[i]]

代码可以正常工作，并根据需要生成列。但是它仅解析分类列的第一个值，并将它们放在新数据帧的新列中。对于所有其他分类值，它将生成NAN。 我在做什么错，应该如何解决？

给出我给出的示例数据集，以下是所需的输出： sample output

Answer 1

由于您具有2D数据集，并且varX和clusX可能具有多个匹配项，因此您必须决定要对这些匹配项进行什么处理？我假设您要添加它们。如果是这样，则您正在查看的是带有标题行和单个数据行的数据帧，还是仅一个索引为您的varX_clusX的序列。

以下代码可以做到：

# Setup
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'var1'      : np.random.randint(0, 1000000, 1000000),
    'var2'      : np.random.randint(0, 1000000, 1000000),
    'var3'      : np.random.randint(0, 1000000, 1000000),
    'cluster'   : np.random.randint(0, 100, 1000000) 
    })

# Processing

# Setup the cluster column for string formatting.
df['cluster'] = 'clus' + df['cluster'].apply(str)

# Un-pivot the cluster column (I'm sure there's a better term)
df = df.set_index('cluster').stack().reset_index()

# Group by the unique combination of cluster / var and sum the values.
# This will generate a column named 0 - which I changed to 'values' just for readability.
df = df.groupby(['cluster','level_1']).sum().reset_index().rename(columns = {0 : 'values'})

# Create the formatted header you're looking for
df['piv'] = df['level_1'] + '_' + df['cluster']

# Final pivot to get the values to align with the the new headers
df = df.pivot(columns = 'piv', values = 'values').sum()

在我的计算机上为此计时-一百万条记录大约1秒。不确定您需要多快。

如果您不想添加所有值并且有一个任意索引，则可以简化：

df['cluster'] = 'clus' + df['cluster'].apply(str)

df = df.set_index('cluster').stack().reset_index()

df['piv'] = df['level_1'] + '_' + df['cluster']

df = df.pivot(columns = 'piv', values = 0).fillna(0)

这将为您提供一个数据框，其长度为初始数据集的长度x变量数和大量零。