python - 使用`dask.merge()`的KeyError

所以我有两个通过创建的熊猫数据框

df1 = pd.read_cvs("first1.csv")
df2 = pd.read_csv("second2.csv")

它们都具有列column1。要仔细检查，

print(df1.columns)
print(df2.columns)

都返回列'column1'。

因此，我想用dask合并这两个数据帧，在本地使用60个线程（使用外部合并）：

dd1 = dd.merge(df1, df2, on="column1", how="outer", suffixes=("","_repeat")).compute(num_workers=60)

失败并显示KeyError KeyError: 'column1'

Traceback (most recent call last):
  File "INSTALLATIONPATH/python3.5/site-packages/pandas/indexes/base.py", line 2134, in get_loc
    return self._engine.get_loc(key)
  File "pandas/index.pyx", line 139, in pandas.index.IndexEngine.get_loc (pandas/index.c:4443)
  File "pandas/index.pyx", line 161, in pandas.index.IndexEngine.get_loc (pandas/index.c:4289)
  File "pandas/src/hashtable_class_helper.pxi", line 732, in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:13733)
  File "pandas/src/hashtable_class_helper.pxi", line 740, in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:13687)
KeyError: 'column1'

我认为这是可并行化的任务，即dd.merge(df1, df2, on='id')

是否有“等同于黄昏”的操作？我还尝试在chr（即df1 = df1.reset_index('chr')）上重新索引熊猫数据框，然后尝试加入索引

 dd.merge(df1, df2, left_index=True, right_index=True)

那也不起作用，同样的错误。

http://dask.pydata.org/en/latest/dataframe-overview.html

最佳答案

从您的错误中，我将仔细检查您的初始数据帧，以确保您在实际的列中都具有column1（没有多余的空格或任何东西），因为它应该可以正常工作（以下代码中没有错误）

此外，在pandas.DataFrame或Dask.dataframe上调用merge之间存在区别。

以下是一些示例数据：

df1 = pd.DataFrame(np.transpose([np.arange(1000),
                           np.arange(1000)]), columns=['column1','column1_1'])

df2 = pd.DataFrame(np.transpose([np.arange(1000),
                           np.arange(1000, 2000)]), columns=['column1','column1_2'])

和它们的dask等效项：

ddf1 = dd.from_pandas(df1, npartitions=100)
ddf2 = dd.from_pandas(df2, npartitions=100)

使用pandas.DataFrame：

In [1]: type(dd.merge(df1, df2, on="column1", how="outer"))

Out [1]: pandas.core.frame.DataFrame

因此，这将返回pandas.DataFrame，因此您无法对其调用compute()。

使用dask.dataframe：

In [2]: type(dd.merge(ddf1, ddf2, on="column1", how="outer"))
Out[2]: dask.dataframe.core.DataFrame

在这里您可以致电compute：

In [3]: dd.merge(ddf1,ddf2, how='outer').compute(num_workers=60)

Out[3]:
   column1  column1_1  column1_2
0        0          0       1000
1      400        400       1400
2      100        100       1100
3      500        500       1500
4      300        300       1300

旁注：根据数据和硬件的大小，您可能需要检查执行pandas.join是否会更快：

df1.set_index('column1').join(df2.set_index('column1'), how='outer').reset_index()

对于每个df使用(1 000 000, 2)的大小，它比我的硬件上的dask解决方案要快。