我正在尝试使用pandas复制所描述的（非常酷的）数据匹配方法。目标是获取记录的组成部分（令牌），并用于与另一个df匹配。
我一直在想如何保留源ID并与单个令牌相关联。希望这里有人能给我一个聪明的建议。我搜索了一下堆栈，但找不到类似的问题。
下面是一些示例数据和核心代码。这需要一个数据帧，标记选择列，生成标记、标记类型和id（但id部分不起作用）：
d = {'Id': [3,6], 'Org_Name': ['Acme Co Inc.', 'Buy Cats Here LLC'], 'Address': ['123 Hammond Lane', 'Washington, DC 20456']}
df = pd.DataFrame(data=d)
def tokenize_name(name):
if isinstance(name, basestring) is True:
clean_name = ''.join(c if c.isalnum() else ' ' for c in name)
return clean_name.lower().split()
else:
return name
def tokenize_address(address):
if isinstance(address, basestring) is True:
clean_name = ''.join(c if c.isalnum() else ' ' for c in address)
return clean_name.lower().split()
else:
return address
left_tokenizers = [
('Org_Name', 'name_tokens', tokenize_name),
('Address', 'address_tokens', tokenize_address)
]
#this works except for ID references
def prepare_join_keys(df, tokenizers):
for source_column, key_name, tokenizer in tokenizers:
for index in df.index:
if source_column in df.columns:
for record in df[source_column]:
if isinstance(record, float) is False:
for token in tokenizer(record):
yield (token, key_name, df.iloc[index]['Id'])
for item in prepare_join_keys(df, left_tokenizers):
print item
此代码生成正确的标记，但为所有标记生成Id值，而不是仅生成相应的Id值。我知道我这里有错，但我想不出一个方法来做这个使用我的生成器函数。期望输出为：
acme, name_tokens, 3
co, name_tokens, 3
inc, name_tokens, 3
buy, name_tokens, 6
cats, name_tokens, 6
here, name_tokens, 6
llc, name_tokens, 6
123, address_tokens, 3
hammond, address_tokens, 3
etc.
最佳答案
您需要更改Id的索引，而不是在专用的for循环中，但同时您将获得一个新记录。我建议如下：
def prepare_join_keys(df, tokenizers):
for source_column, key_name, tokenizer in tokenizers:
# for index in df.index:
if source_column in df.columns:
for index, record in enumerate(df[source_column]):
if isinstance(record, float) is False:
for token in tokenizer(record):
yield (token, key_name, df.iloc[index]['Id'])