本文實(shí)例講述了Python多進(jìn)程multiprocessing、進(jìn)程池用法。分享給大家供大家參考，具體如下：

內(nèi)容相關(guān)：

multiprocessing：

進(jìn)程的創(chuàng)建與運(yùn)行 進(jìn)程常用相關(guān)函數(shù)

進(jìn)程池：

為什么要有進(jìn)程池 進(jìn)程池的創(chuàng)建與運(yùn)行：串行、并行 回調(diào)函數(shù)多進(jìn)程multiprocessing:

python中的多進(jìn)程需要使用multiprocessing模塊

多進(jìn)程的創(chuàng)建與運(yùn)行：

1.進(jìn)程的創(chuàng)建：進(jìn)程對(duì)象=multiprocessing.Process(target=函數(shù)名,args=(參數(shù),))【補(bǔ)充，由于args是一個(gè)元組，單個(gè)參數(shù)時(shí)要加“,”】

2.進(jìn)程的運(yùn)行: 進(jìn)程對(duì)象.start()

進(jìn)程的join跟線程的join一樣，意義是 “阻塞當(dāng)前進(jìn)程，直到調(diào)用join方法的那個(gè)進(jìn)程執(zhí)行完，再繼續(xù)執(zhí)行當(dāng)前進(jìn)程”

注：在windows中代碼中必須使用這個(gè)，在Linux 中不需要加這個(gè)

import multiprocessing,time,osdef thread_run(): print(threading.current_thread())def run(name): time.sleep(1) print('hello',name,'run in ',os.getpid(),'ppid:',os.getppid())if __name__==’__main__’:#必須加 obj=[] for i in range(10): p=multiprocessing.Process(target=run,args=(’bob’,)) obj.append(p) p.start() start_time=time.time() for i in obj: i.join() print('run in main') print('spend time :',time.time()-start_time) 與多線程同樣的：也可以通過(guò)繼承multiprocessing的Process來(lái)創(chuàng)建進(jìn)程

繼承multiprocessing的Process類(lèi)的類(lèi)要主要做兩件事：

1.如果初始化自己的變量，則先要調(diào)用父類(lèi)的__init__()【如果不調(diào)用，則要自己填寫(xiě)相關(guān)的參數(shù)，麻煩！】然后做自己的初始化;如果不需要初始化自己的變量，那么不需要重寫(xiě)__init__,直接使用父類(lèi)的__init__即可【已經(jīng)繼承了】

2.重寫(xiě)run函數(shù)

import multiprocessingclass myProcess(multiprocessing.Process): def run(self): print('run in myProcess')if __name__=='__main__': p=myProcess() p.start() p.join()進(jìn)程常用相關(guān)函數(shù)： os.getpid():獲取當(dāng)前進(jìn)程號(hào)。 os.getppid():獲取當(dāng)前進(jìn)程的父進(jìn)程號(hào)。 進(jìn)程對(duì)象.is_alive():判斷進(jìn)程是否存活

進(jìn)程對(duì)象.terminate():結(jié)束進(jìn)程【不建議的方法，現(xiàn)實(shí)少用】進(jìn)程池： 為什么需要進(jìn)程池 如果要啟動(dòng)大量的子進(jìn)程，可以用進(jìn)程池的方式批量創(chuàng)建子進(jìn)程，而進(jìn)程池可以限制運(yùn)行的進(jìn)程的數(shù)量【有太多人想要游泳，而池子的容量決定了游泳的人的數(shù)量 Pool類(lèi)可以提供指定數(shù)量的進(jìn)程供用戶調(diào)用，當(dāng)有新的請(qǐng)求提交到Pool中時(shí)，如果池還沒(méi)有滿，就會(huì)創(chuàng)建一個(gè)新的進(jìn)程來(lái)執(zhí)行請(qǐng)求。如果進(jìn)程池滿了，請(qǐng)求就會(huì)告知先等待，直到池中有進(jìn)程結(jié)束，才會(huì)創(chuàng)建新的進(jìn)程來(lái)執(zhí)行這些請(qǐng)求 進(jìn)程池的創(chuàng)建與使用： 使用進(jìn)程池需要導(dǎo)入：from multiprocessing import Pool 創(chuàng)建進(jìn)程池：進(jìn)程池對(duì)象=Pool(容量) 給進(jìn)程池添加進(jìn)程： 串行：進(jìn)程池對(duì)象.apply(func=函數(shù)名,args=(參數(shù),))

from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid())if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply(func=func1,args=(i,))#串行,這里是加一個(gè)運(yùn)行完再加一個(gè) pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time) 并行：進(jìn)程池對(duì)象.apply_async(func=函數(shù)名,args=(參數(shù),),callback=回調(diào)函數(shù))

from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid())if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,))#并行 pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time)#2.6，證明是并行回調(diào)函數(shù)的使用：在并行中，支持callback=回調(diào)函數(shù)，當(dāng)一個(gè)進(jìn)程執(zhí)行完畢后會(huì)調(diào)用該回調(diào)函數(shù)，并且參數(shù)為func中的返回值 注意：回調(diào)函數(shù)是在父進(jìn)程中執(zhí)行的！【當(dāng)兒子執(zhí)行完后，會(huì)在父親里調(diào)用函數(shù)】

from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid()) return 'filename'def log(arg):##參數(shù)為進(jìn)程創(chuàng)建中func的函數(shù)的返回值 print('log done :',arg)if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,),callback=log,)#log的參數(shù)是func1的返回值 pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time)

注：對(duì)Pool對(duì)象調(diào)用join()方法會(huì)等待所有子進(jìn)程執(zhí)行完畢，調(diào)用join()之前必須先調(diào)用close()，調(diào)用close()之后就不能繼續(xù)添加新的Process了?！疽馑季褪潜热缬斡境刂毁u(mài)1個(gè)小時(shí)的票，約定5點(diǎn)關(guān)門(mén)，那么4點(diǎn)多之后就不能再賣(mài)票了，就一直等著游泳池里面的人出來(lái)再關(guān)門(mén)，進(jìn)程池的close是一個(gè)關(guān)門(mén)的意思，并不是結(jié)束的意思，它只是關(guān)上了進(jìn)來(lái)的門(mén)，而里面的進(jìn)程還可以運(yùn)行】【進(jìn)程池的join是等池子里的所有進(jìn)程執(zhí)行完畢，如果后面再進(jìn)來(lái)進(jìn)程的話就沒(méi)完沒(méi)了了，所以需要先關(guān)閉進(jìn)入，再等待進(jìn)程結(jié)束】 小測(cè)試：

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專(zhuān)題：《Python進(jìn)程與線程操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》、《Python+MySQL數(shù)據(jù)庫(kù)程序設(shè)計(jì)入門(mén)教程》及《Python常見(jiàn)數(shù)據(jù)庫(kù)操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。