Python——collections模块

collections模块

collections模块在内置数据类型（dict、list、set、tuple）的基础上，还提供了几个额外的数据类型：ChainMap、Counter、deque、defaultdict、namedtuple和OrderedDict等。

1.namedtuple: 生成可以使用名字来访问元素内容的tuple子类
2.deque: 双端队列，可以快速的从另外一侧追加和推出对象
3.Counter: 计数器，主要用来计数
4.OrderedDict: 有序字典
5.defaultdict: 带有默认值的字典

namedtuple

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。

这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。

>>> from collections import namedtuple

>>> Point = namedtuple('Point', ['x', 'y'])

>>>

>>> p = Point(1,2)

>>> p.x

1

>>> p.y

2

>>> Circle = namedtuple('Circle', ['x', 'y', 'r'])

>>> c = Circle(1,2,3)

>>> c

Circle(x=1, y=2, r=3)

>>> c.x

1

>>> c.y

2

#namedtuple('名称', [属性list]):

可以验证创建的Point对象是tuple的一种子类：

>>> Point = namedtuple('Point',['x1','y1','x2','y2'])

>>> p = Point('1','2','3','4')

>>> p

Point(x1='1', y1='2', x2='3', y2='4')

>>> p.x1

'1'

>>> isinstance(p,Point)

True

>>> isinstance(p,tuple)

True

deque

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

>>> from collections import deque

>>> q = deque(['a', 'b', 'c'])

>>> q.appendleft

<built-in method appendleft of collections.deque object at 0x028F8228>

>>> q.appendleft('')

>>> q

deque(['', 'a', 'b', 'c'])

>>> q.append('')

>>> q

deque(['', 'a', 'b', 'c', ''])

>>> q.popleft()

''

>>> q

deque(['a', 'b', 'c', ''])

>>> q.pop()

''

>>> q

deque(['a', 'b', 'c'])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

defaultdict

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

deque(['a', 'b', 'c'])

>>> from collections import defaultdict

>>> d = defaultdict(lambda:'N/A')

>>> d

defaultdict(<function <lambda> at 0x02A1F970>, {})

>>> d['key1']=1

>>> d['key1']

1

>>> d['key2']

'N/A'

>>> from collections import defaultdict

>>> d = defaultdict(0)

Traceback (most recent call last):

  File "<pyshell#173>", line 1, in <module>

    d = defaultdict(0)

TypeError: first argument must be callable or None

>>> d = defaultdict(str)

>>> d

defaultdict(<type 'str'>, {})

>>> d['x']

''

>>> d = defaultdict(int)

>>> d['x']

0

注意默认值是调用函数返回的，而函数在创建defaultdict对象时传入。

除了在Key不存在时返回默认值，defaultdict的其他行为跟dict是完全一样的。

OrderedDict

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。

如果要保持Key的顺序，可以用OrderedDict：

>>> from collections import OrderedDict

>>> d = dict([('a',1),('b',2),('c',3)])

>>> d

{'a': 1, 'c': 3, 'b': 2}

>>> od = OrderedDict([('a',1),('b',2),('c',3)])

>>> od

OrderedDict([('a', 1), ('b', 2), ('c', 3)])

注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

>>> od = OrderedDict()

>>> od['z'] = 1

>>> od['y'] = 2

>>> od['x'] = 3

>>> od.keys() # 按照插入的Key的顺序返回

['z', 'y', 'x']

OrderedDict可以实现一个FIFO（先进先出）的dict，当容量超出限制时，先删除最早添加的Key：

from collections import OrderedDict

class LastUpdatedOrderedDict(OrderedDict):

    def __init__(self, capacity):

        super(LastUpdatedOrderedDict, self).__init__()

        self._capacity = capacity

    def __setitem__(self, key, value):

        containsKey = 1 if key in self else 0

        if len(self) - containsKey >= self._capacity:

            last = self.popitem(last=False)

            print 'remove:', last

        if containsKey:

            del self[key]

            print 'set:', (key, value)

        else:

            print 'add:', (key, value)

        OrderedDict.__setitem__(self, key, value)

Counter

Counter是一个简单的计数器，例如，统计字符出现的个数：

>>> from collections import Counter

>>> c = Counter()

>>> for ch in 'programming':

...     c[ch] = c[ch] + 1

...

>>> c

Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})

Counter实际上也是dict的一个子类，上面的结果可以看出，字符'g'、'm'、'r'各出现了两次，其他字符各出现了一次。

案例：

统计一篇英文文章内每个单词出现频率，并返回出现频率最高的前3个单词及其出现次数

txt_content = '''She had been shopping with her Mom in Wal-Mart.

She must have been 6 years old, this beautiful brown haired, freckle-faced image of innocence.

It was pouring outside. The kind of rain that gushes over the top of rain gutters,

so much in a hurry to hit the Earth, it has no time to flow down the spout.

We all stood there under the awning and just inside the door of the Wal-Mart.

We all waited, some patiently, others irritated,

because nature messed up their hurried day.

I am always mesmerized by rainfall.

I get lost in the sound and sight of the heavens washing away the dirt and dust of the world.

Memories of running, splashing so carefree as a child come pouring in as a welcome reprieve from the worries of my day.

'''

使用传统字典

def str_count(s):

    """

    统计英文单词出现次数

    :param s:

    :return:

    """

    d = dict()

    s = re.split('\W+', s.strip())  # 去掉回车，逗号等非英文和数字字符

    for x in s:

        if x not in d:

            d[x] = 1

        else:

            d[x]+=1

    return d

if __name__ == '__main__':

    d1 = str_count(txt_content)

    print(sorted(d1.items(), key = lambda d:d[1],reverse=True)[:3])

使用defaultdict

from collections import defaultdict

from collections import Counter

import re

def str_count(s):

    """

    统计英文单词出现次数

    :param s:

    :return:

    """

    d = defaultdict(int)

    s = re.split('\W+', s.strip())  # 去掉回车，逗号等非英文和数字字符

    for x in s:

        d[x] += 1

    return d

if __name__ == '__main__':

    d1 = str_count(txt_content)

    print(sorted(d1.items(), key=lambda d: d[1], reverse=True)[:3])

使用counter

from collections import Counter

import re

def str_count(s):

    """

    统计英文单词出现次数

    :param s:

    :return:

    """

    c = Counter()

    s = re.split('\W+', s.strip())  # 去掉回车，逗号等非英文和数字字符

    c.update(s)

    return c

if __name__ == '__main__':

    c = str_count(txt_content)

    print(c.most_common(3))