python - 如何使用字符串列表作为值的“热编码”列？

我基本上是想用这样的值对列进行热编码:

  tickers
1 [DIS]
2 [AAPL,AMZN,BABA,BAY]
3 [MCDO,PEP]
4 [ABT,ADBE,AMGN,CVS]
5 [ABT,CVS,DIS,ECL,EMR,FAST,GE,GOOGL]
...

首先，我得到了所有行情收录器的所有集合(大约为467条行情记录器):

all_tickers = list()
for tickers in df.tickers:
    for ticker in tickers:
        all_tickers.append(ticker)
all_tickers = set(all_tickers)

然后，我以这种方式实现了“一次热编码”:

for i in range(len(df.index)):
    for ticker in all_tickers:
        if ticker in df.iloc[i]['tickers']:
            df.at[i+1, ticker] = 1
        else:
            df.at[i+1, ticker] = 0

问题在于，当处理大约5000多个行时，脚本的运行速度非常慢。
如何改善算法？

最佳答案

我认为您需要 str.join 和 str.get_dummies :

df = df['tickers'].str.join('|').str.get_dummies()

或者:

from sklearn.preprocessing import MultiLabelBinarizer

mlb = MultiLabelBinarizer()

df = pd.DataFrame(mlb.fit_transform(df['tickers']),columns=mlb.classes_, index=df.index)
print (df)
   AAPL  ABT  ADBE  AMGN  AMZN  BABA  BAY  CVS  DIS  ECL  EMR  FAST  GE  \
1     0    0     0     0     0     0    0    0    1    0    0     0   0
2     1    0     0     0     1     1    1    0    0    0    0     0   0
3     0    0     0     0     0     0    0    0    0    0    0     0   0
4     0    1     1     1     0     0    0    1    0    0    0     0   0
5     0    1     0     0     0     0    0    1    1    1    1     1   1

   GOOGL  MCDO  PEP
1      0     0    0
2      0     0    0
3      0     1    1
4      0     0    0
5      1     0    0

关于python - 如何使用字符串列表作为值的“热编码”列？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47786822/