我的问题是几年前对this的扩展。
我正在尝试左连接,但是要连接的列之一必须是范围值。它必须是一个范围,因为扩展将意味着数百万个新的(和不必要的)行。凭直觉,似乎可以使用Python的in
运算符(因为x in range(y, z)
很常见),但是会涉及讨厌的for循环和if/else块。一定有更好的方法。
这是我的数据的简单版本:
# These are in any order
sample = pd.DataFrame({
'col1': ['1b', '1a', '1a', '1b'],
'col2': ['2b', '2b', '2a', '2a'],
'col3': [42, 3, 21, 7]
})
# The 'look-up' table
look_up = pd.DataFrame({
'col1': ['1a', '1a', '1a', '1a', '1b', '1b', '1b', '1b'],
'col2': ['2a', '2a', '2b', '2b', '2a', '2a', '2b', '2b'],
'col3': [range(0,10), range(10,101), range(0,10), range(10,101), range(0,10), range(10,101), range(0,10), range(10,101)],
'col4': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']
})
最初,我尝试进行合并以查看 Pandas 是否会理解,但存在类型不匹配错误。sample.merge(
look_up,
how='left',
left_on=['col1', 'col2', 'col3'],
right_on=['col1', 'col2', 'col3']
)
# ValueError: You are trying to merge on int64 and object columns. If you wish to proceed you should use pd.concat
查看pd.concat
文档似乎不会给我想要的结果。而不是追加,我仍在尝试获得类似于merge
的结果。我试图按照开始时链接的问题给出的答案进行操作,但这也不起作用。这完全是,可能是,可能是我误解了如何使用np.where
,但我也希望有一种解决方案,其安全性要低一些。这是我使用
np.where
的尝试:s1 = sample['col1'].values
s2 = sample['col2'].values
s3 = sample['col3'].values
l1 = look_up['col1'].values
l2 = look_up['col2'].values
l3 = look_up['col3'].values
i, j = np.where((s3[:, None] in l3) & (s2[:, None] == l2) & (s1[:, None] == l1))
result = pd.DataFrame(
np.column_stack([sample.values[i], look_up.values[j]]),
columns=sample.columns.append(look_up.columns)
)
len(result) # returns 0
我想要的结果应如下所示:col1 col2 col3 col4
'1b' '2b' 42 'h'
'1a' '2b' 3 'c'
'1a' '2a' 21 'b'
'1b' '2a' 7 'e'
最佳答案
由于看起来范围非常大,并且您正在使用整数值,因此可以只计算最小值,最大值:
columns = look_up.columns
look_up['minval'] = look_up['col3'].apply(min)
look_up['maxval'] = look_up['col3'].apply(max)
(sample.merge(look_up, on=['col1','col2'], how='left',
suffixes=['','_'])
.query('minval <= col3 <= maxval')
[columns]
)
输出: col1 col2 col3 col4
1 1b 2b 42 h
2 1a 2b 3 c
5 1a 2a 21 b
6 1b 2a 7 e