3.python基础补充（集合，collection系列，深浅拷贝）

一.集合

1.集合(set)：

把不同的元素组成一起形成集合，是python基本的数据类型。集合元素(set elements):组成集合的成员

python的set和其他语言类似, 是一个无序不重复元素集, 基本功能包括关系测试和消除重复元素. 集合对象还支持union(联合), intersection(交), difference(差)和sysmmetric difference(对称差集)等数学运算.

sets 支持 x in set, len(set),和 for x in set。作为一个无序的集合，sets不记录元素位置或者插入点。因此，sets不支持 indexing, slicing, 或其它类序列（sequence-like）的操作。

2.集合的创建

se = set([11,22,33,44])

print(se)

{33, 11, 44, 22}

print(type(se))

<class 'set'>

或者

>>> se = {'huang','xu'}

>>> se

{'xu', 'huang'}

>>> type(se)

<class 'set'>

集合的使用

具体用法：

1.add(添加元素)

>>> se.add('123')

>>> se

{'xu', 'huang', '123'}

2.clear(清空集合)

>>> se.clear()

>>> se

set()

3.copy(浅拷贝)

>>> se_1 = {'huang','xu'}

>>> se_2=se_1.copy()

>>> se_2

{'xu', 'huang'}

4.difference差异比较

>>> se_1 = {'huang','xu','shi','shei'}

>>> se_2 = {'haode','shi','huang'}

#取出se_2中在se_1所没有的元素

>>> se_1.difference(se_2)

{'xu', 'shei'}

#取出se_1中在se_2所没有的元素

>>> se_2.difference(se_1)

{'haode'}

5.difference_update差异更新

>>> se_1

{'shi', 'xu', 'huang'}

>>> se_2

{'shi', 'huang', 'haode'}

>>> se_1.difference_update(se_2)

>>> se_1

{'xu'}

6.discard移除指定元素

>>> se_1

{'shi', 'xu', 'shei', 'huang'}

>>> se_1.discard('shei')

>>> se_1

{'shi', 'xu', 'huang'}

7.intersection取交集并且建立新的集合

>>> se_1={'huang','xu','shi','sha','bi'}

>>> se_2={'huang','xu','shi','er','bi'}

>>> se_1.intersection(se_2)

{'huang', 'shi', 'xu', 'bi'}

8.intersection_update取交集并且更新原来的集合

>>> se_1={'huang','xu','shi','sha','bi'}

>>> se_2={'huang','xu','shi','er','bi'}

>>> se_1.intersection_update(se_2)

>>> se_1

{'huang', 'shi', 'xu', 'bi'}

9.isdisjoint判断没有交集，没有返回true，有返回false

>>> se_1={'huang','xu','shi','sha','bi'}

>>> se_2={'huang','xu','shi','er','bi'}

>>> se_1.isdisjoint(se_2)

False

>>> se_2.isdisjoint(se_1)

False

或

>>> se_1={'huang','xu'}

>>> se_2={'huangg','xuu'}

>>> se_2.isdisjoint(se_1)

True

10.issubset判断是否为子集

>>> se_1 = {'huang','xu'}

>>> se_2 = {'huang','xu','shabi'}

#判断se_1是否为se_2的子集

>>> se_1.issubset(se_2)

True

11.issuperset判断是否为父集

>>> se_1 = {'huang','xu'}

>>> se_2 = {'huang','xu','shabi'}

#判断se_1是否为se_2的父集

>>> se_1.issuperset(se_2)

False

#判断se_2是否为se_1的父集

>>> se_2.issuperset(se_1)

True

>>>

12.pop移除集合元素

>>> se_1 = {'huang','xu','sha','bi'}

>>> se_1.pop()

'sha'

13.remove删除指定元素集合

>>> se_1 = {'huang','xu','sha','bi'}

>>> se_1.remove('bi')

>>> se_1

{'sha', 'liu', 'yao'}

>>>

14.symmetric_difference取两个集合的差集，并建立新的元素

>>> se_1 = {'huang','xu','sha','bi'}

>>> se_2 = {'huang','xu','shabi'}

>>> se_1.symmetric_difference(se_2)

{'sha', 'shabi', 'bi'}

>>> b=se_1.symmetric_difference(se_2)

>>> b

{'sha', 'shabi', 'bi'}

15.symmetric_difference_update取两个集合的差集，更新原来的集合对象

>>> se_1 = {'huang','xu','sha','bi'}

>>> se_2 = {'huang','xu','shabi'}

>>> se_1.symmetric_difference_update(se_2)

>>> se_1

{'sha', 'shabi', 'bi'}

16.union并集

>>> se_1

{'sha', 'shabi', 'bi'}

>>> se_2

{'shabi', 'huang', 'xu'}

>>> se_1.union(se_2)

{'xu', 'sha', 'shabi', 'huang', 'bi'}

17.update更新集合

>>> se_1

{'sha', 'shabi', 'bi'}

>>> se_1.update('liuxu')

>>> se_1

{'x', 'u', 'shabi', 'bi', 'u', 'i', 'sha', 'l', 'a'}

案例：

old_dict = {

"#1":{ 'hostname':'c1', 'cpu_count': 2, 'mem_capicity': 80 },

"#2":{ 'hostname':'c1', 'cpu_count': 2, 'mem_capicity': 80 },

"#3":{ 'hostname':'c1', 'cpu_count': 2, 'mem_capicity': 80 }

}

new_dict = {

"#1":{ 'hostname':'c1', 'cpu_count': 2, 'mem_capicity': 800 },

"#3":{ 'hostname':'c1', 'cpu_count': 2, 'mem_capicity': 80 },

"#4":{ 'hostname':'c2', 'cpu_count': 2, 'mem_capicity': 80 }

}

#获取old_dict元素

old = set(old_dict.keys())

print(old)

#获取new_dict元素

new = set(new_dict.keys())

print(new)

#要更新的集合元素（交集）

update_set = old.intersection(new)

print(update_set)

#获取要删除的集合元素（差集）

delete_set = old.difference(new)

print(delete_set)

#获取要添加的集合元素()

add_set = new.difference(update_set)

print(add_set)

二.collection系列

collections模块自Python 2.4版本开始被引入，包含了dict、set、list、tuple以外的一些特殊的容器类型，分别是：

OrderedDict类：排序字典，是字典的子类。引入自2.7。

namedtuple()函数：命名元组，是一个工厂函数。引入自2.6。

Counter类：为hashable对象计数，是字典的子类。引入自2.7。

deque：双向队列。引入自2.4。

defaultdict：使用工厂函数创建字典，使不用考虑缺失的字典键。引入自2.5。

文档参见：http://docs.python.org/2/library/collections.html

使用的时候需要用import导入collections模块

1.计数器（counter）

Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。

（1）创建

创建一个空的Counter类

import collections

c = collections.Counter()# 创建一个空的Counter类

print(c)

c = collections.Counter('asdfghjjhgfdqwer')

print(c)

c = collections.Counter({'a': 4, 'b': 2})#从一个字典对象创建

print(c)

c = collections.Counter(a=4, b=2) # 从一组键值对创建

print(c)

结果：

Counter()

Counter({'d': 2, 'f': 2, 'h': 2, 'g': 2, 'j': 2, 's': 1, 'a': 1, 'r': 1, 'q': 1, 'e': 1, 'w': 1})

Counter({'a': 4, 'b': 2})

(2).计数值的访问

当所访问的键不存在时，返回0，而不是KeyError；否则返回它的计数。

>>> import collections

>>> c = collections.Counter('asdfgdsasdf')

>>> c['a']

2

>>> c['h']

0

>>> c['s']

3

>>>

(3).计数器的更新与减少

1.update()更新

>>> c

Counter({'s': 3, 'd': 3, 'a': 2, 'f': 2, 'g': 1})

>>> c = collections.Counter('update')

>>> c.update('update')

>>> c

Counter({'a': 2, 'e': 2, 'd': 2, 'p': 2, 'u': 2, 't': 2})

2.subtract()减少

>>> c = collections.Counter('subtract')

>>> c

Counter({'t': 2, 'a': 1, 'c': 1, 'b': 1, 's': 1, 'r': 1, 'u': 1})

>>> c.subtract('subtract')

>>> c

Counter({'a': 0, 'c': 0, 'b': 0, 's': 0, 'r': 0, 'u': 0, 't': 0})

>>>

（4）键的删除

当计数值为0时，并不意味着元素被删除，删除元素应当使用del

>>> c = collections.Counter('abcdcba')

>>> c['b']=0

>>> c

Counter({'a': 2, 'c': 2, 'd': 1, 'b': 0})

>>> del c['a']

>>> c

Counter({'c': 2, 'd': 1, 'b': 0})

>>>

(5) 迭代器

返回一个迭代器。元素被重复了多少次，在该迭代器中就包含多少个该元素。所有元素按照字母序排序，个数小于1的元素不被包含。

>>> c = collections.Counter('abcdcba')

>>> list(c.elements())

['a', 'a', 'c', 'c', 'b', 'b', 'd']

>>>

（5）most_common([n])

返回一个TopN列表。如果n没有被指定，则返回所有元素。当多个元素计数值相同时，按照字母序排列。

>>> c = collections.Counter('abcdcba')

>>> c.most_common()

[('a', 2), ('c', 2), ('b', 2), ('d', 1)]

（6）浅拷贝

>>> c = collections.Counter('abcdcba')

>>> c

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>> cc=c.copy()

>>> cc

Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

>>>

（7）算术与集合操作

+、-、&、|操作也可以用于Counter。其中&和|操作分别返回两个Counter对象各元素的最小值和最大值。需要注意的是，得到的Counter对象将删除小于1的元素。

>>> c = collections.Counter(a=3, b=1)

>>> d = collections.Counter(a=1, b=2)

>>> c+d

Counter({'a': 4, 'b': 3})

>>> c-d

Counter({'a': 2})

>>> c&d

Counter({'a': 1, 'b': 1})

>>> c|d

Counter({'a': 3, 'b': 2})

一些Counter类的常用操作，来源于Python官方文档

sum(c.values()) # 所有计数的总数

c.clear() # 重置Counter对象，注意不是删除

list(c) # 将c中的键转为列表

set(c) # 将c中的键转为set

dict(c) # 将c中的键值对转为字典

c.items() # 转为(elem, cnt)格式的列表

Counter(dict(list_of_pairs)) # 从(elem, cnt)格式的列表转换为Counter类对象

c.most_common()[:-n:-1] # 取出计数最少的n个元素

c += Counter() # 移除0和负值

2.有序字典(orderedDict )

有序字典继承字典的一切属性，只是在顺序上是有序的。

>>> import collections

>>> info = collections.OrderedDict({'name':'huangxu','age':21})

>>> info

OrderedDict([('age', 21), ('name', 'huangxu')])

>>> type(info)

<class 'collections.OrderedDict'>

import collections

info = collections.OrderedDict(name='huangxu',age='21',job='IT')

print (info)

print (info.keys())

print (info.values())

OrderedDict([('age', '21'), ('name', 'huangxu'), ('job', 'IT')])

odict_keys(['age', 'name', 'job'])

odict_values(['21', 'huangxu', 'IT'])

一些功能：

(1).move_to_end将指定的键值对从开头移动到末尾。

>>> import collections

>>> info = collections.OrderedDict(name='liuyao',age='21',job='IT')

>>> info.move_to_end('name')

>>> info

OrderedDict([('age', '21'), ('job', 'IT'), ('name', 'huangxu')])

(2).pop删除字典键值，返回删除的键值的values

>>> info = collections.OrderedDict(name='huangxu',age='21',job='IT')

>>> info.pop('job')

'IT'

>>> info

OrderedDict([('age', '21'), ('name', 'huangxu')])

>>>

(3).clear清除有序字典的值

>>> info = collections.OrderedDict(name='huangxu',age='21',job='IT')

>>> info.clear()

>>> info

OrderedDict()

import collections

info = collections.OrderedDict(name='huangxu',age='21',job='IT')

print (info)

print (info.keys())

print (info.values())

print (info.items())

OrderedDict([('age', '21'), ('job', 'IT'), ('name', 'huangxu')])

odict_keys(['age', 'job', 'name'])

odict_values(['21', 'IT', 'huangxu'])

odict_items([('age', '21'), ('job', 'IT'), ('name', 'huangxu')])

3.默认字典(defaultdict)

这里的defaultdict(function_factory)构建的是一个类似dictionary的对象，其中keys的值，自行确定赋值，但是values的类型，是function_factory的类实例，而且具有默认值。比如default(int)则创建一个类似dictionary对象，里面任何的values都是int的实例，而且就算是一个不存在的key, d[key] 也有一个默认值，这个默认值是int()的默认值0.

defaultdict是对字典的类型的补充，他默认给字典的值设置了一个类型。创建一个默认字典，value值类型为列表.dic = collections.defaultdict(list)

例:

import collections

s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]

d = collections.defaultdict(list)

for k, v in s:

d[k].append(v)

list(d.items())

defaultdict可以接受一个内建函数list作为参数。其实呢，list()本身是内建函数，但是再经过更新后，python里面所有东西都是对象，所以list改编成了类，引入list的时候产生一个类的实例。

import collections

dic = collections.defaultdict(list)

dic['k1']

print (dic)

print (dic.keys())

print (dic.values())

dic['k1'].append('v1')

print (dic.values())

一些具有的方法：

1.copy拷贝

import collections

dic = collections.defaultdict(list)

dic['k1']

dic['k1'].append('v1')

print (dic)

dic_1=dic.copy()

print (dic_1)

#结果

defaultdict(<class 'list'>, {'k1': ['v1']})

4.可命名元组(namedtuple)

没有现成的类，用户需要自行创建相应的类

import collections

tu = collections.namedtuple('tu',['x','y','z']) #创建一个类,类名为Point

yao_tu = tu(11,22,33)

print(yao_tu)

print(yao_tu.x) #直接通过命名元素去访问元组对应的元素,

print(yao_tu[1]) #等同于上面这种方式,但是没有上面这种方式可读性强

print(yao_tu.y)

print(yao_tu.z)

5.双向队列(deque)

（1）创建一个队列

import collections

que = collections.deque(['sb','huang','xu'])

print (que)

(2)追加元素到队列

>>> que.append('wo')

>>> que

deque(['sb', 'huang', 'xu', 'wo'])

>>> que.append(['ni','ta'])

>>> que

deque(['sb', 'huang', 'xu', 'wo', ['ni', 'ta']])

（3）追加元素到队列左侧

>>> que.appendleft('zuo')

>>> que

deque(['zuo', 'sb', 'huang', 'xu', 'wo', ['ni', 'ta']])

（4）统计元素个数

>>> que.appendleft('zuo')

>>> que

deque(['zuo', 'sb', 'huang', 'xu', 'wo', ['ni', 'ta']])

>>> que.appendleft('zuo')

>>> que.count('zuo')

2

（4）清除

>>> que.clear()

>>> que

deque([])

（5）extend扩展元素

>>> que = collections.deque(['sb','huang','xu'])

>>> que

deque(['sb', 'huang', 'xu'])

>>> que.extend(['a','b','c'])

>>> que

deque(['sb', 'huang', 'xu', 'a', 'b', 'c'])

（6）extendleft从左侧扩展

>>> que

deque(['sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2', 'zuo3'])

>>> que.extendleft(['zuo4','zuo5','zuo6'])

>>> que

deque(['zuo6', 'zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2', 'zuo3'])

（7）pop删除

>>> que

deque(['zuo6', 'zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2', 'zuo3'])

>>> que.pop()

'zuo3'

>>> que

deque(['zuo6', 'zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2'])

（8）popleft从左侧开始删除

>>> que

deque(['zuo6', 'zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2'])

>>> que.popleft()

'zuo6'

>>> que

deque(['zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2'])

（9）reverse顺序反转

>>> que

deque(['zuo5', 'zuo4', 'sb', 'huang', 'xu', 'a', 'b', 'c', 'zuo1', 'zuo2'])

>>> que.reverse()

>>> que

deque(['zuo2', 'zuo1', 'c', 'b', 'a', 'xu', 'huang', 'sb', 'zuo4', 'zuo5'])

（10）remove删除指定元素

>>> que

deque(['zuo2', 'zuo1', 'c', 'b', 'a', 'xu', 'huang', 'sb', 'zuo4', 'zuo5'])

>>> que.remove('sb')

>>> que

deque(['zuo2', 'zuo1', 'c', 'b', 'a', 'xu', 'huang', 'zuo4', 'zuo5'])

（11）rotate将队列末尾4个元素反转到队列左侧

>>> que

deque(['zuo5', 'zuo2', 'zuo1', 'c', 'b', 'a', 'xu', 'huang', 'zuo4'])

>>> que.rotate(4)

>>> que

deque(['a', 'xu', 'huang', 'zuo4', 'zuo5', 'zuo2', 'zuo1', 'c', 'b'])

6.单向队列 queue（先进先出 FIFO ）

（1）创建

>>> import queue

>>> que = queue.Queue(2)

>>> que

<queue.Queue object at 0x7f70678ec550>

>>>

>>> que = queue.Queue(maxsize=10)

queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

（3）放入任务

1 2	`>>> que.put(['a','d'])` `>>> que`

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为
1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

（3）从队列中取值

>>> que.put(['a','d'])

>>> que.get()

['a', 'd']

>>>

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False，队列将引发Empty异常。

（3）返回队列大小

1 2	`>>> que.qsize()` `1`

（4）判断队列为空返回True,反之False

>>> que.empty()

False

>>>

（5）q.full() 如果队列满了，返回True,反之False

>>> que.full()

False

>>>

q.full 与 maxsize 大小对应

其他方法：

q.get([block[, timeout]]) 获取队列，timeout等待时间

q.get_nowait() 相当q.get(False)

非阻塞 q.put(item) 写入队列，timeout等待时间

q.put_nowait(item) 相当q.put(item, False)

q.task_done() 在完成一项工作之后，q.task_done() 函数向任务已经完成的队列发送一个信号

q.join() 实际上意味着等到队列为空，再执行别的操作

三.深浅拷贝

1.为什么要拷贝？

当进行修改时，想要保留原来的数据和修改后的数据

2.数字字符串和集合在修改时的差异？ （深浅拷贝不同的终极原因）

在修改数据时：

数字字符串：在内存中新建一份数据

集合：修改内存中的同一份数据

3.对于集合，如何保留其修改前和修改后的数据？

在内存中拷贝

4.对于集合，如何拷贝其n层元素同时拷贝？

深拷贝

1.对于数字和字符串而言，赋值、浅拷贝和深拷贝无意义，因为其永远指向同一个内存地址。

例：

赋值，内存指向同一地址

>>> n1=123

>>> n2=n1

>>> id(n1)

10109728

>>> id(n2)

10109728

>>>

>>> import copy

>>> n3 = copy.copy(n1)

>>> id(n3)

10109728

>>> n4=copy.deepcopy(n1)

>>> id(n4)

10109728

>>>

Python之路3Day-LMLPHP

2.对于字典、元祖、列表而言，进行赋值、浅拷贝和深拷贝时，其内存地址的变化是不同的。

赋值，只是创建一个变量，该变量指向原来内存地址，如：

>>> import copy

>>> n1 = {'k1':'v1','k2':'v2','k3':['liuyao','job']}

>>> n1

{'k3': ['liuyao', 'job'], 'k1': 'v1', 'k2': 'v2'}

>>> n2=n1

>>> id(n1)

140120750514696

>>> id(n2)

140120750514696

>>> id(n2['k3'])

140120750335688

>>> id(n1['k3'])

140120750335688

>>> id(n1['k3'][0])

140120778934064

>>> id(n2['k3'][0])

140120778934064

>>>

Python之路3Day-LMLPHP

（3）浅拷贝，在内存中只额外创建第一层数据

>>> import copy

>>> n1 = {'k1':'v1','k2':'v2','k3':['liuyao','job']}

>>> n2 = copy.copy(n1)

>>> id(n1)

140120750337544

>>> id(n2)

140120750371208

>>> id(n1['k3'][0])

140120778934064

>>> id(n2['k3'][0])

140120778934064

>>>

Python之路3Day-LMLPHP

（4）深拷贝，在内存中将所有的数据重新创建一份（排除最后一层，即：python内部对字符串和数字的优化）

>>> import copy

>>> n1 = {'k1':'v1','k2':'v2','k3':['liuyao','job']}

>>> n2 = copy.deepcopy(n1)

>>> id(n1)

140120750514696

>>> id(n2)

140120750514888

>>> id(n1['k3'])

140120750335688

>>> id(n2['k3'])

140120750335752

>>> id(n2['k3'][0])

140120778934064

>>> id(n1['k3'][0])

140120778934064

>>>

Python之路3Day-LMLPHP

案例：

#深浅copy案例:监控模板

dic = {

"cpu":[80,],

"mem":[70,],

"disk":[90,],

}

print(dic)

a1=copy.copy(dic)

#浅copy会使所有的模板cpu都发生变化

a1['cpu'][0]=20

print(a1)

print(dic)

#为了防止新模板修改导致旧模板被修改所以使用深copy

a2=copy.deepcopy(dic)

a2['cpu'][0]=20

print(a2)

print(dic)