Pandasのデータを標準化する方法 [Python]

2017-10-19

質問：

Pandasのデータフレームがあるとする。このデータフレームの列ごとの平均を計算するのは簡単：

df.apply(average)

で、この列ごとのmax(col) - min (col)を計算するのも簡単：

df.apply(max) - df.apply(min)

で、この列ごとの差を平均で割りたいんだけどどうやったらいいの？

By jason | 質問日時： 2012年9月21日 7:04

回答1:

In [92]: df
Out[92]:
           a         b          c         d
A  -0.488816  0.863769   4.325608 -4.721202
B -11.937097  2.993993 -12.916784 -1.086236
C  -5.569493  4.672679  -2.168464 -9.315900
D   8.892368  0.932785   4.535396  0.598124
In [93]: df_norm = (df - df.mean()) / (df.max() - df.min())
In [94]: df_norm
Out[94]:
          a         b         c         d
A  0.085789 -0.394348  0.337016 -0.109935
B -0.463830  0.164926 -0.650963  0.256714
C -0.158129  0.605652 -0.035090 -0.573389
D  0.536170 -0.376229  0.349037  0.426611
In [95]: df_norm.mean()
Out[95]:
a   -2.081668e-17
b    4.857226e-17
c    1.734723e-17
d   -1.040834e-17
In [96]: df_norm.max() - df_norm.min()
Out[96]:
a    1
b    1
c    1
d    1

By Wouter Overmeire | 回答日時： 2012年9月21日 7:14

回答2:

sklearnライブラリ使ってもいいのであれば、このブログの方法がいいと思う：

import pandas as pd
from sklearn import preprocessing
data = {'score': [234,24,14,27,-74,46,73,-18,59,160]}
df = pd.DataFrame(data)
df
min_max_scaler = preprocessing.MinMaxScaler()
np_scaled = min_max_scaler.fit_transform(df)
df_normalized = pd.DataFrame(np_scaled)
df_normalized

By davidshen84 | 回答日時： 2016年5月13日 0:48

回答3:

applyを使えばいいよ。よりキレイだと思う：

import numpy as np
import pandas as pd
np.random.seed(1)
df = pd.DataFrame(np.random.randn(4,4)* 4 + 3)
          0         1         2         3
0  9.497381  0.552974  0.887313 -1.291874
1  6.461631 -6.206155  9.979247 -0.044828
2  4.276156  2.002518  8.848432 -5.240563
3  1.710331  1.463783  7.535078 -1.399565
df.apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))
          0         1         2         3
0  0.515087  0.133967 -0.651699  0.135175
1  0.125241 -0.689446  0.348301  0.375188
2 -0.155414  0.310554  0.223925 -0.624812
3 -0.484913  0.244924  0.079473  0.114448

それか、適切な列を選択すると、groupbyで上手くいくと思う：

df['grp'] = ['A', 'A', 'B', 'B']
          0         1         2         3 grp
0  9.497381  0.552974  0.887313 -1.291874   A
1  6.461631 -6.206155  9.979247 -0.044828   A
2  4.276156  2.002518  8.848432 -5.240563   B
3  1.710331  1.463783  7.535078 -1.399565   B
df.groupby(['grp'])[[0,1,2,3]].apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))
     0    1    2    3
0  0.5  0.5 -0.5 -0.5
1 -0.5 -0.5  0.5  0.5
2  0.5  0.5  0.5 -0.5
3 -0.5 -0.5 -0.5  0.5

By naught101 | 回答日時： 2015年10月21日 3:10

Source: Normalize data in pandas