进程与线程理论基础
1、背景知識
理論基礎(chǔ):
一 操作系統(tǒng)的作用:
1:隱藏丑陋復(fù)雜的硬件接口,提供良好的抽象接口2:管理、調(diào)度進(jìn)程,并且將多個(gè)進(jìn)程對硬件的競爭變得有序二 多道技術(shù):
1.產(chǎn)生背景:針對單核,實(shí)現(xiàn)并發(fā)(現(xiàn)在的主機(jī)一般是多核,那么每個(gè)核都會利用多道技術(shù),但是核與核之間沒有使用多道技術(shù)切換這么一說,一個(gè)程序io阻塞,會等到io結(jié)束再重新調(diào)度)2.時(shí)間上的復(fù)用(復(fù)用一個(gè)cpu的時(shí)間片)+空間上的復(fù)用(如內(nèi)存中同時(shí)有多道程序)2、進(jìn)程
2.1 什么是進(jìn)程
進(jìn)程:正在進(jìn)行的一個(gè)過程或者說一個(gè)任務(wù)。而負(fù)責(zé)執(zhí)行任務(wù)則是cpu。2.2 進(jìn)程與程序的區(qū)別
程序僅僅只是一堆代碼而已,而進(jìn)程指的是程序的運(yùn)行過程。2.3 并發(fā)與并行
無論是并行還是并發(fā),在用戶看來都是'同時(shí)'運(yùn)行的,不管是進(jìn)程還是線程,都只是一個(gè)任務(wù)而已,真是干活的是cpu,cpu來做這些任務(wù),而一個(gè)cpu同一時(shí)刻只能執(zhí)行一個(gè)任務(wù)一 并發(fā):是偽并行,即看起來是同時(shí)運(yùn)行。單個(gè)cpu+多道技術(shù)就可以實(shí)現(xiàn)并發(fā),(并行也屬于并發(fā))二 并行:同時(shí)運(yùn)行,只有具備多個(gè)cpu才能實(shí)現(xiàn)并行單核下,可以利用多道技術(shù),多個(gè)核,每個(gè)核也都可以利用多道技術(shù)(多道技術(shù)是針對單核而言的)有四個(gè)核,六個(gè)任務(wù),這樣同一時(shí)間有四個(gè)任務(wù)被執(zhí)行,假設(shè)分別被分配給了cpu1,cpu2,cpu3,cpu4,一旦任務(wù)1遇到I/O就被迫中斷執(zhí)行,此時(shí)任務(wù)5就拿到cpu1的時(shí)間片去執(zhí)行,這就是單核下的多道技術(shù)而一旦任務(wù)1的I/O結(jié)束了,操作系統(tǒng)會重新調(diào)用它(需知進(jìn)程的調(diào)度、分配給哪個(gè)cpu運(yùn)行,由操作系統(tǒng)說了算),可能被分配給四個(gè)cpu中的任意一個(gè)去執(zhí)行2.4 同步與異步
同步執(zhí)行:一個(gè)進(jìn)程在執(zhí)行某個(gè)任務(wù)時(shí),另外一個(gè)進(jìn)程必須等待其執(zhí)行完畢,才能繼續(xù)執(zhí)行
異步執(zhí)行:一個(gè)進(jìn)程在執(zhí)行某個(gè)任務(wù)時(shí),另外一個(gè)進(jìn)程無需等待其執(zhí)行完畢,就可以繼續(xù)執(zhí)行,當(dāng)有消息返回時(shí),系統(tǒng)會通知后者進(jìn)行處理,這樣可以提高執(zhí)行效率
舉個(gè)例子,打電話時(shí)就是同步通信,發(fā)短息時(shí)就是異步通信。2.5 進(jìn)程的創(chuàng)建
但凡是硬件,都需要有操作系統(tǒng)去管理,只要有操作系統(tǒng),就有進(jìn)程的概念,就需要有創(chuàng)建進(jìn)程的方式,一些操作系統(tǒng)只為一個(gè)應(yīng)用程序設(shè)計(jì),比如微波爐中的控制器,一旦啟動微波爐,所有的進(jìn)程都已經(jīng)存在。
而對于通用系統(tǒng)(跑很多應(yīng)用程序),需要有系統(tǒng)運(yùn)行過程中創(chuàng)建或撤銷進(jìn)程的能力,主要分為4中形式創(chuàng)建新的進(jìn)程
1. 系統(tǒng)初始化(查看進(jìn)程linux中用ps命令,windows中用任務(wù)管理器,前臺進(jìn)程負(fù)責(zé)與用戶交互,后臺運(yùn)行的進(jìn)程與用戶無關(guān),運(yùn)行在后臺并且只在需要時(shí)才喚醒的進(jìn)程,稱為守護(hù)進(jìn)程,如電子郵件、web頁面、新聞、打印)
2. 一個(gè)進(jìn)程在運(yùn)行過程中開啟了子進(jìn)程(如nginx開啟多進(jìn)程,os.fork,subprocess.Popen等)
3. 用戶的交互式請求,而創(chuàng)建一個(gè)新進(jìn)程(如用戶雙擊暴風(fēng)影音)
4. 一個(gè)批處理作業(yè)的初始化(只在大型機(jī)的批處理系統(tǒng)中應(yīng)用)
無論哪一種,新進(jìn)程的創(chuàng)建都是由一個(gè)已經(jīng)存在的進(jìn)程執(zhí)行了一個(gè)用于創(chuàng)建進(jìn)程的系統(tǒng)調(diào)用而創(chuàng)建的:
1. 在UNIX中該系統(tǒng)調(diào)用是:fork,fork會創(chuàng)建一個(gè)與父進(jìn)程一模一樣的副本,二者有相同的存儲映像、同樣的環(huán)境字符串和同樣的打開文件(在shell解釋器進(jìn)程中,執(zhí)行一個(gè)命令就會創(chuàng)建一個(gè)子進(jìn)程)
2. 在windows中該系統(tǒng)調(diào)用是:CreateProcess,CreateProcess既處理進(jìn)程的創(chuàng)建,也負(fù)責(zé)把正確的程序裝入新進(jìn)程。
關(guān)于創(chuàng)建的子進(jìn)程,UNIX和windows
1.相同的是:進(jìn)程創(chuàng)建后,父進(jìn)程和子進(jìn)程有各自不同的地址空間(多道技術(shù)要求物理層面實(shí)現(xiàn)進(jìn)程之間內(nèi)存的隔離),任何一個(gè)進(jìn)程的在其地址空間中的修改都不會影響到另外一個(gè)進(jìn)程。
2.不同的是:在UNIX中,子進(jìn)程的初始地址空間是父進(jìn)程的一個(gè)副本,提示:子進(jìn)程和父進(jìn)程是可以有只讀的共享內(nèi)存區(qū)的。但是對于windows系統(tǒng)來說,從一開始父進(jìn)程與子進(jìn)程的地址空間就是不同的。
2.6 進(jìn)程的終止
1. 正常退出(自愿,如用戶點(diǎn)擊交互式頁面的叉號,或程序執(zhí)行完畢調(diào)用發(fā)起系統(tǒng)調(diào)用正常退出,在linux中用exit,在windows中用ExitProcess)
2. 出錯(cuò)退出(自愿,python a.py中a.py不存在)
3. 嚴(yán)重錯(cuò)誤(非自愿,執(zhí)行非法指令,如引用不存在的內(nèi)存,1/0等,可以捕捉異常,try...except...)
4. 被其他進(jìn)程殺死(非自愿,如kill -9)
2.7 進(jìn)程的層次結(jié)構(gòu)
無論UNIX還是windows,進(jìn)程只有一個(gè)父進(jìn)程,不同的是:
1. 在UNIX中所有的進(jìn)程,都是以init進(jìn)程為根,組成樹形結(jié)構(gòu)。父子進(jìn)程共同組成一個(gè)進(jìn)程組,這樣,當(dāng)從鍵盤發(fā)出一個(gè)信號時(shí),該信號被送給當(dāng)前與鍵盤相關(guān)的進(jìn)程組中的所有成員。
2. 在windows中,沒有進(jìn)程層次的概念,所有的進(jìn)程都是地位相同的,唯一類似于進(jìn)程層次的暗示,是在創(chuàng)建進(jìn)程時(shí),父進(jìn)程得到一個(gè)特別的令牌(稱為句柄),該句柄可以用來控制子進(jìn)程,但是父進(jìn)程有權(quán)把該句柄傳給其他子進(jìn)程,這樣就沒有層次了。
回到頂部
2.8 進(jìn)程的狀態(tài)
tail -f access.log |grep '404'
執(zhí)行程序tail,開啟一個(gè)子進(jìn)程,執(zhí)行程序grep,開啟另外一個(gè)子進(jìn)程,兩個(gè)進(jìn)程之間基于管道'|'通訊,將tail的結(jié)果作為grep的輸入。
進(jìn)程grep在等待輸入(即I/O)時(shí)的狀態(tài)稱為阻塞,此時(shí)grep命令都無法運(yùn)行
其實(shí)在兩種情況下會導(dǎo)致一個(gè)進(jìn)程在邏輯上不能運(yùn)行,
1. 進(jìn)程掛起是自身原因,遇到I/O阻塞,便要讓出CPU讓其他進(jìn)程去執(zhí)行,這樣保證CPU一直在工作
2. 與進(jìn)程無關(guān),是操作系統(tǒng)層面,可能會因?yàn)橐粋€(gè)進(jìn)程占用時(shí)間過多,或者優(yōu)先級等原因,而調(diào)用其他的進(jìn)程去使用CPU。
因而一個(gè)進(jìn)程由三種狀態(tài)
2.9 進(jìn)程并發(fā)的實(shí)現(xiàn)
進(jìn)程并發(fā)的實(shí)現(xiàn)在于,硬件中斷一個(gè)正在運(yùn)行的進(jìn)程,把此時(shí)進(jìn)程運(yùn)行的所有狀態(tài)保存下來,為此,操作系統(tǒng)維護(hù)一張表格,即進(jìn)程表(process table),每個(gè)進(jìn)程占用一個(gè)進(jìn)程表項(xiàng)(這些表項(xiàng)也稱為進(jìn)程控制塊)
該表存放了進(jìn)程狀態(tài)的重要信息:程序計(jì)數(shù)器、堆棧指針、內(nèi)存分配狀況、所有打開文件的狀態(tài)、帳號和調(diào)度信息,以及其他在進(jìn)程由運(yùn)行態(tài)轉(zhuǎn)為就緒態(tài)或阻塞態(tài)時(shí),必須保存的信息,從而保證該進(jìn)程在再次啟動時(shí),就像從未被中斷過一樣。
3、線程
3.1 什么是線程
在傳統(tǒng)操作系統(tǒng)中,每個(gè)進(jìn)程有一個(gè)地址空間,而且默認(rèn)就有一個(gè)控制線程
線程顧名思義,就是一條流水線工作的過程,一條流水線必須屬于一個(gè)車間,一個(gè)車間的工作過程是一個(gè)進(jìn)程
車間負(fù)責(zé)把資源整合到一起,是一個(gè)資源單位,而一個(gè)車間內(nèi)至少有一個(gè)流水線流水線的工作需要電源,電源就相當(dāng)于cpu所以,進(jìn)程只是用來把資源集中到一起(進(jìn)程只是一個(gè)資源單位,或者說資源集合),而線程才是cpu上的執(zhí)行單位。
多線程(即多個(gè)控制線程)的概念是,在一個(gè)進(jìn)程中存在多個(gè)控制線程,多個(gè)控制線程共享該進(jìn)程的地址空間,相當(dāng)于一個(gè)車間內(nèi)有多條流水線,都共用一個(gè)車間的資源。
例如,北京地鐵與上海地鐵是不同的進(jìn)程,而北京地鐵里的13號線是一個(gè)線程,北京地鐵所有的線路共享北京地鐵所有的資源,比如所有的乘客可以被所有線路拉。創(chuàng)建進(jìn)程的開銷要遠(yuǎn)大于線程?
如果我們的軟件是一個(gè)工廠,該工廠有多條流水線,流水線工作需要電源,電源只有一個(gè)即cpu(單核cpu)
一個(gè)車間就是一個(gè)進(jìn)程,一個(gè)車間至少一條流水線(一個(gè)進(jìn)程至少一個(gè)線程)
創(chuàng)建一個(gè)進(jìn)程,就是創(chuàng)建一個(gè)車間(申請空間,在該空間內(nèi)建至少一條流水線)
而建線程,就只是在一個(gè)車間內(nèi)造一條流水線,無需申請空間,所以創(chuàng)建開銷小
進(jìn)程之間是競爭關(guān)系,線程之間是協(xié)作關(guān)系?
車間直接是競爭/搶電源的關(guān)系,競爭(不同的進(jìn)程直接是競爭關(guān)系,是不同的程序員寫的程序運(yùn)行的,迅雷搶占其他進(jìn)程的網(wǎng)速,360把其他進(jìn)程當(dāng)做病毒干死)
一個(gè)車間的不同流水線式協(xié)同工作的關(guān)系(同一個(gè)進(jìn)程的線程之間是合作關(guān)系,是同一個(gè)程序?qū)懙某绦騼?nèi)開啟動,迅雷內(nèi)的線程是合作關(guān)系,不會自己干自己)
3.2 為何要用多線程
多線程指的是,在一個(gè)進(jìn)程中開啟多個(gè)線程,簡單的講:如果多個(gè)任務(wù)共用一塊地址空間,那么必須在一個(gè)進(jìn)程內(nèi)開啟多個(gè)線程。詳細(xì)的講分為4點(diǎn):
1. 多線程共享一個(gè)進(jìn)程的地址空間2. 線程比進(jìn)程更輕量級,線程比進(jìn)程更容易創(chuàng)建可撤銷,在許多操作系統(tǒng)中,創(chuàng)建一個(gè)線程比創(chuàng)建一個(gè)進(jìn)程要快10-100倍,在有大量線程需要動態(tài)和快速修改時(shí),這一特性很有用3. 若多個(gè)線程都是cpu密集型的,那么并不能獲得性能上的增強(qiáng),但是如果存在大量的計(jì)算和大量的I/O處理,擁有多個(gè)線程允許這些活動彼此重疊運(yùn)行,從而會加快程序執(zhí)行的速度。4. 在多cpu系統(tǒng)中,為了最大限度的利用多核,可以開啟多個(gè)線程(比開進(jìn)程開銷要小的多)3.3 多線程的應(yīng)用舉例
開啟一個(gè)字處理軟件進(jìn)程,該進(jìn)程肯定需要辦不止一件事情,比如監(jiān)聽鍵盤輸入,處理文字,定時(shí)自動將文字保存到硬盤,這三個(gè)任務(wù)操作的都是同一塊數(shù)據(jù),因而不能用多進(jìn)程。只能在一個(gè)進(jìn)程里并發(fā)地開啟三個(gè)線程,如果是單線程,那就只能是,鍵盤輸入時(shí),不能處理文字和自動保存,自動保存時(shí)又不能輸入和處理文字。
轉(zhuǎn)載于:https://www.cnblogs.com/forever5325/p/9529913.html
總結(jié)
- 上一篇: streamsets rest api
- 下一篇: django1.4.9 pyth