分组还是合并?数据帧pandas python

时间:2013-11-30 05:44:11

标签: python merge pandas grouping

关于在熊猫中分组项目的另一个问题。目前我正在使用以下代码中的stack函数将merge函数分组:

import pandas as pd, numpy as np


df = pd.DataFrame({'Type' : ['SS', 'SS', 'SS', 'DD', 'DD', 'FF'],
                'No.' : ['323', '12', '21', '334', '44', '55'],
                'Res' : ['O', 'E', 'O', 'E', 'E', 'O']}).set_index('Type')
df2 = pd.DataFrame({'Type' : ['SS', 'SS', 'TT', 'DD', 'FF'],
                'No.' : ['43', '77', '98', '352', '51'],
                'Res' : ['O', 'O', 'E', 'E', 'O']}).set_index('Type')
Merged=concat([df,df2], axis=0, keys=['Sample1','Sample2']).stack()

print Merged

         Type     
Sample1  SS    No.    323
               Res      O
               No.     12
               Res      E
               No.     21
               Res      O
         DD    No.    334
               Res      E
               No.     44
               Res      E
         FF    No.     55
               Res      O
Sample2  SS    No.     43
               Res      O
               No.     77
               Res      O
         TT    No.     98
               Res      E
         DD    No.    352
               Res      E
         FF    No.     51
               Res      O

有没有办法分组,所以我可以得到类似于以下方式的结果:

      Sample1  Sample 2
      No. Res  No.  Res
Type         
SS    323   O   43   O
       12   E   77   O
       21   O
DD    334   E  352   E
       44   E
FF     55   O   51   O
TT              98   E

2 个答案:

答案 0 :(得分:2)

您尝试的几乎是正确的,您只需要axis=1中的concat(并且没有堆叠)。但是您的数据框的问题是您有非唯一索引,因此concat无法知道如何沿着该轴连接两个数据框(例如,您有多个“SS”) 一种方法是例如向索引添加第二级以使其唯一(这仅适用于pandas 0.13,请参阅下面的旧版本的解决方法):

df['count'] = df.groupby(df.index).cumcount()
df2['count'] = df2.groupby(df2.index).cumcount()
df = df.set_index('count', append=True)
df2 = df2.set_index('count', append=True)

所以数据框看起来像:

In [64]: df
Out[64]:
            No. Res
Type count
SS   0      323   O
     1       12   E
     2       21   O
DD   0      334   E
     1       44   E
FF   0       55   O

然后你可以用axis=1和你提供的keys连接两者:

In [65]: pd.concat([df,df2], axis=1, keys=['Sample1','Sample2'])
Out[65]:
           Sample1      Sample2
               No.  Res     No.  Res
Type count
DD   0         334    E     352    E
     1          44    E     NaN  NaN
FF   0          55    O      51    O
SS   0         323    O      43    O
     1          12    E      77    O
     2          21    O     NaN  NaN
TT   0         NaN  NaN      98    E

您始终可以使用count再次删除merged.index = merged.index.droplevel(1)

但是,当然,这是否是一个好的解决方案取决于您的数据的性质以及您想要进一步做些什么。


注意:cumcount是一种仅在master中可用的新方法(即将发布为0.13),此时您可以实现相同的目标:

df = df.reset_index()
df['count'] = df.groupby('Type').apply(lambda x : pd.Series(np.arange(len(x)), x.index))
df.set_index(['Type', 'count'])

答案 1 :(得分:1)

您需要使用列多索引来获取所需格式的数据:

import pandas as pd, numpy as np

df = pd.DataFrame({'Type' : ['SS1', 'SS2', 'SS3', 'DD1', 'DD2', 'FF1'],
                'No.' : ['323', '12', '21', '334', '44', '55'],
                'Res' : ['O', 'E', 'O', 'E', 'E', 'O']}).set_index('Type')
df2 = pd.DataFrame({'Type' : ['SS1', 'SS2', 'TT1', 'DD1', 'FF1'],
                'No.' : ['43', '77', '98', '352', '51'],
                'Res' : ['O', 'O', 'E', 'E', 'O']}).set_index('Type')


#Add multi index to the two dataframes
df.columns = [["Season 1"]*2, list(df.columns)]

df2.columns =  [["Season 2"]*2, list(df2.columns)]

#Join on their row index
df.join(df2)