Python并发编程-queue | Python并发编程

　　　　　　　Python并发编程-queue

　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

一.Queue

 # ！/usr/bin/env python

 # _*_conding:utf-8_*_

 # @author :yinzhengjie

 # blog:http://www.cnblogs.com/yinzhengjie

 from queue import Queue

 """

 Queue是先进先出(First-in-First-out)队列,常用方法如下:

     queue.Queue(maxsize=0):

         创建FIFO队列，返回Queue对象

         maxsize表示队列大小，小于等于0则队列长度没有限制

     Queue.get(block=True,timeout=None):

         从队列中移除元素并返回这个元素

         block为阻塞，timeout为超时

         如果block为True,是阻塞,timeout为None就是一直阻塞

         如果block为True单timeout有值，就阻塞到一定描述抛出Empty异常

         block为False,是非阻塞，timeout将被忽略，要么成功返回一个元素，要么抛出empty异常

     Queue.get_nowait():

         等价于get(False)，也就是说要么成功返回一个元素，要么抛出empty异常

         但是queue的这种阻塞效果，需要多线程来演示

     Queue.put(item,block=True,time=None):

         把一个元素加入到队列中去

         block=True,timeout=None,表示如果当前队列已经满了，则一直阻塞直至有空位存放元素。

         block=True,timeout=5,表示如果当前队列已经满了，则阻塞五秒依旧没有空位存放元素就抛出Full异常

         block=Flase,timeout失效，立即返回，能塞进去就塞进去，不能就抛出Full异常。

     Queue.put_nowait(item):

         等价于Queue.put(item,False)，也就是能塞进去就塞，不能就抛出Full异常

 """

 q = Queue(3)  # 设置队列大小为3

 q.put("hdfs")

 q.put("mapreduce")

 print(q.qsize(), q.full())

 q.put("yarn")

 print(q.qsize(), q.full())

 # q.put("hbase")          #这里会阻塞,因为上面已经网队列中放慢3个了，再放是没法放进队列啦,直到有人消费数据才能有多余的空间存入

 print(q.get())

 print(q.qsize(), q.empty())

 print(q.get())

 print(q.qsize(), q.empty())

 print(q.get())

 # print(q.get())             #这里也会阻塞,因为已经从队列中取出三个了，再去是取不出来啦,直到有人放入数据才能取到数据

 # print(q.get(timeout=3))     #阻塞，但超时3秒还拿不到数据就会抛出Empty异常。

2 False

3 True

hdfs

2 False

mapreduce

1 False

yarn

以上代码执行结果戳这里

二.LifoQueue

 #！/usr/bin/env python

 #_*_conding:utf-8_*_

 #@author :yinzhengjie

 #blog:http://www.cnblogs.com/yinzhengjie

 from queue import LifoQueue

 """

     LifoQueue是后进先出队列，这个类继承自Queue，使用方式同Queue。

 """

 q = LifoQueue(3)        #设置队列大小为3

 q.put("hdfs")

 q.put("mapreduce")

 print(q.qsize(),q.full())

 q.put("yarn")

 print(q.qsize(),q.full())

 # q.put("hive")          #这里会阻塞,因为上面已经网队列中放慢3个了，再放是没法放进队列啦,直到有人消费数据才能有多余的空间存入

 print(q.get())

 print(q.qsize(),q.empty())

 print(q.get())

 print(q.qsize(),q.empty())

 print(q.get())

 # print(q.get())             #这里也会阻塞,因为已经从队列中取出三个了，再去是取不出来啦,直到有人放入数据才能取到数据

 # print(q.get(timeout=3))     #阻塞，但超时3秒还拿不到数据就会抛出Empty异常。

2 False

3 True

yarn

2 False

mapreduce

1 False

hdfs

以上代码执行结果戳这里

三.PriorityQueue

 # ！/usr/bin/env python

 # _*_conding:utf-8_*_

 # @author :yinzhengjie

 # blog:http://www.cnblogs.com/yinzhengjie

 from queue import PriorityQueue

 import random

 from string import ascii_lowercase

 """

 PriorityQueue是优先队列，这个类继承自Queue类，并重写了入队,出队的方法。

     它里面是堆，用列表实现的堆，构建的是小顶堆。

     元素可以存储任意值,但是优先队列内部是直接进行元素大小比较的，不同类型比较可能抛出异常

     入队时,将元素加入到列表末尾,然后进行小顶堆调整

     出队时,将索引0即堆顶处最小值弹出，然后将最后一个元素放到堆顶，重新堆调整。

 """

 q = PriorityQueue()

 gender = ["boy","girl"]     #我们模拟一下男生和女士，不管传入的字符串随机字符串是如何，最终取出来的数据应该是男士优先的

 for i in range(10):

     q.put("{} : {}".format(random.choice(gender),random.choice(ascii_lowercase)))

 while not q.empty():

     print(q.get_nowait())

boy : m

boy : m

boy : s

boy : w

girl : a

girl : a

girl : d

girl : h

girl : m

girl : y

以上代码执行结果戳这里