python - 查找共享值的行

我有一个如下所示的 Pandas 数据框:

df = pd.DataFrame({'name': ['bob', 'time', 'jane', 'john', 'andy'], 'favefood': [['kfc', 'mcd', 'wendys'], ['mcd'], ['mcd', 'popeyes'], ['wendys', 'kfc'], ['tacobell', 'innout']]})

-------------------------------
name |         favefood
-------------------------------
bob  | ['kfc', 'mcd', 'wendys']
tim  | ['mcd']
jane | ['mcd', 'popeyes']
john | ['wendys', 'kfc']
andy | ['tacobell', 'innout']

对于每个人，我想知道有多少其他人的最爱与他们自己的重叠。
即，对于每个人，我想知道有多少其他人与他们有非空交集。

生成的数据框如下所示:

------------------------------
name |         overlap
------------------------------
bob  |            3
tim  |            2
jane |            2
john |            1
andy |            0

问题是我有大约 200 万行数据。我能想到的唯一方法是通过嵌套的 for 循环 - 即对于每个人，遍历整个数据帧以查看重叠的内容(这将非常低效)。无论如何，使用 Pandas 符号可以更有效地做到这一点吗？谢谢!

最佳答案

背后的逻辑

s=df['favefood'].explode().str.get_dummies().sum(level=0)
s.dot(s.T).ne(0).sum(axis=1)-1
Out[84]:
0    3
1    2
2    2
3    1
4    0
dtype: int64
df['overlap']=s.dot(s.T).ne(0).sum(axis=1)-1

来自 sklearn 的方法

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
s=pd.DataFrame(mlb.fit_transform(df['favefood']),columns=mlb.classes_, index=df.index)

s.dot(s.T).ne(0).sum(axis=1)-1

0    3
1    2
2    2
3    1
4    0
dtype: int64

关于python - 查找共享值的行，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/60713739/