如何规范化不同范围的数据框列中的值

时间:2016-01-19 15:29:50

标签: python performance pandas dataframe normalization

我有一个这样的数据框:

    T  data
0   0    10
1   1    20
2   2    30
3   3    40
4   4    50
5   0     5
6   1    13
7   2    21
8   0     3
9   1     7
10  2    11
11  3    15
12  4    19

T中的值是从0到特定值的序列,其中序列之间的最大数量可以不同。 通常情况下,data中的值不是等间隔的,现在仅用于演示目的。

我想要实现的是添加名为dataDiv的第三列,其中某个序列的data中的每个值除以属于相应序列的T = 0处的值。在我的情况下,我有3个序列,对于第一个序列,我想将每个值除以10,在第二个序列中,每个值应除以5,第三个除以3。 所以预期结果如下:

    T  data   dataDiv
0   0    10  1.000000
1   1    20  2.000000
2   2    30  3.000000
3   3    40  4.000000
4   4    50  5.000000
5   0     5  1.000000
6   1    13  2.600000
7   2    21  4.200000
8   0     3  1.000000
9   1     7  2.333333
10  2    11  3.666667
11  3    15  5.000000
12  4    19  6.333333

我目前的实施方式如下: 我首先确定T = 0的指数。然后我循环遍历这些索引并将data中的数据除以相应序列的T=0处的值,这给出了所需的输出(如上所示)。代码如下:

import pandas as pd
df = pd.DataFrame({'T': range(5) + range(3) + range(5),
                   'data': range(10, 60, 10) + range(5, 25, 8) + range(3, 21, 4)})

# get indices where T = 0
idZE = df[df['T'] == 0].index.tolist()

# last index of dataframe
idZE.append(max(df.index)+1)

# add the column with normalzed values
df['dataDiv'] = df['data']

# loop through indices where T = 0 and normalize values
for ix, indi in enumerate(idZE[:-1]):

    df['dataDiv'].iloc[indi:idZE[ix + 1]] = df['data'].iloc[indi:idZE[ix + 1]] / df['data'].iloc[indi]

我的问题是:是否有比这更智能的解决方案避免循环?

1 个答案:

答案 0 :(得分:5)

如果有利于矢量化计算,以下方法可以避免循环,并且应该执行得更快。基本思想是在列' T'中标记整数运行,找到每个组中的第一个值,然后将数值除以数据'通过适当的第一个值。

_self.getNextTabs = function () {            
   var maxScrollLeft = $element[0].scrollWidth - $element[0].clientWidth; 
   angular.element(document.querySelector('.main_tabSet .nav-tabs')).scrollLeft(600);    
}

这为DataFrame提供了所需的列:

df['grp'] = (df['T'] == 0).cumsum()           # label consecutive runs of integers
x = df.groupby('grp')['data'].first()         # first value in each group
df['dataDiv'] = df['data'] / df['grp'].map(x) # divide 

(如果您愿意,可以删除' grp'列: T data grp dataDiv 0 0 10 1 1.000000 1 1 20 1 2.000000 2 2 30 1 3.000000 3 3 40 1 4.000000 4 4 50 1 5.000000 5 0 5 2 1.000000 6 1 13 2 2.600000 7 2 21 2 4.200000 8 0 3 3 1.000000 9 1 7 3 2.333333 10 2 11 3 3.666667 11 3 15 3 5.000000 12 4 19 3 6.333333 。)

正如@DSM在下面指出的那样,可以使用df.drop('grp', axis=1)将三行代码折叠成一行:

groupby.transform