注册 登录
  • 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心洋葱网用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

python模拟实现线程池

python 水墨上仙 2710次浏览 已收录 手机上查看

转载来源:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
最近在做一些文本处理方面的事情,考虑到程序利用并发性可以提高执行效率(不纠结特殊反例),于是入围的Idea如使用多进程或多线程达到期望的目标,对于进程或线程的创建是有代价的,那么我们是否可以实现一个线程池来达到已创建的线程反复使用从而使代价降低到最小呢?
当然可以,要想创建一个线程池,那么必须得有个容器来模拟“池”,在Python中,队列这样的数据结构就可以帮我们解决“池”这个问题,然而随之引来的多线程之间数据处理同步问题,好在Python中有个Queue模块帮我们解决了这一棘手的问题,那么我们就可以实现一个线程池的雏形了。

# !/usr/bin/env python   
# -*- coding:utf-8 -*-   
   
import Queue   
import threading   
import time   
   
class WorkManager(object):   
    def __init__(self, work_num=1000,thread_num=2):   
        self.work_queue = Queue.Queue()   
        self.threads = []   
        self.__init_work_queue(work_num)   
        self.__init_thread_pool(thread_num)   
   
    """  
        初始化线程  
    """ 
    def __init_thread_pool(self,thread_num):   
        for i in range(thread_num):   
            self.threads.append(Work(self.work_queue))   
   
    """  
        初始化工作队列  
    """ 
    def __init_work_queue(self, jobs_num):   
        for i in range(jobs_num):   
            self.add_job(do_job, i)   
   
    """  
        添加一项工作入队  
    """ 
    def add_job(self, func, *args):   
        self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制   
   
    """  
        等待所有线程运行完毕  
    """     
    def wait_allcomplete(self):   
        for item in self.threads:   
            if item.isAlive():item.join()   
   
class Work(threading.Thread):   
    def __init__(self, work_queue):   
        threading.Thread.__init__(self)   
        self.work_queue = work_queue   
        self.start()   
   
    def run(self):   
        #死循环,从而让创建的线程在一定条件下关闭退出   
        while True:   
            try:   
                do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制   
                do(args)   
                self.work_queue.task_done()#通知系统任务完成   
            except:   
                break 
   
#具体要做的任务   
def do_job(args):   
    time.sleep(0.1)#模拟处理时间   
    print threading.current_thread(), list(args)   
   
if __name__ == '__main__':   
    start = time.time()   
    work_manager =  WorkManager(10000, 10)#或者work_manager =  WorkManager(10000, 20)   
    work_manager.wait_allcomplete()   
    end = time.time()   
    print "cost all time: %s" % (end-start)


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明python模拟实现线程池
喜欢 (0)
[开心洋葱]
分享 (0)
关于作者:
水墨上仙
……
加载中……