python - 为大型数据集构建 map

我有一个非常大的文件，有两列，大小约为10GB：

A  B
1  2
3  7
1  5
6  5
9  8

本质上，我想从该文件中创建一个类似于地图的结构，如下所示：

{{1 -> 2,5},{3->7}, {6->5}, {9->8}}

目标是编写一个函数，该函数计算受删除键影响的唯一值的百分比。例如，在上面的示例中，如果我删除键，则会影响值的1、2 / 4。如果同时删除1和6，则将影响2/4的值。问题在于此映射结构将使用过多的内存。有没有其他更有效的方法？我认为您需要一张地图才能跟踪重复项。您需要知道哪些键已被删除，因此您不会重复计算。这是我的初始代码：

with open("C:/Users/XX/Desktop/Train.tsv") as f:
    counter = 0
    for line in f:
      #split line into key and value
      #add key into set
      #if set does not contain key
         #create new key
         #add list for this key
         #append value to this list
      #else
         #append value to already existing list for that key

这是我在运行亚历山大的代码后收到的错误消息：不确定KeyError 293的含义

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-22-73145e080824> in <module>()
      7     for line in f:
      8         key, value = line.split()
----> 9         if value not in dd[key]:
     10             dd[key].append(value)
     11         counter = counter+1

KeyError: '293'

最佳答案

像这样吗

#!python3

from collections import defaultdict

AB_map = defaultdict(set)
Values = set()

with open('train.tsv') as infile:
    headers = next(infile)
    for line in infile:
        if not line.strip():
            continue
        a,b = map(int, line.split())
        AB_map[a].add(b)
        Values.add(b)

print("# of keys:", len(AB_map.keys()))
print("# of values:", len(Values))

def impact_of_deletion(keylist):
    values_impacted = set([])
    for key in keylist:
        values_impacted.update(AB_map[key])
    return values_impacted

for hyp in ((1,), (1,6)):
    print("Deleting", hyp, "would impact:", len(impact_of_deletion(hyp)))

关于python - 为大型数据集构建 map ，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/36731649/