python怎么清理垃圾_Python 中的“垃圾”是怎么回收的?
前言
對于python來說,一切皆為對象,所有的變量賦值都遵循著對象引用機制。程序在運行的時候,需要在內存中開辟出一塊空間,用于存放運行時產生的臨時變量;計算完成后,再將結果輸出到永久性存儲器中。如果數據量過大,內存空間管理不善就很容易出現 OOM(out of memory),俗稱爆內存,程序可能被操作系統中止。
而對于服務器,內存管理則顯得更為重要,不然很容易引發內存泄漏- 這里的泄漏,并不是說你的內存出現了信息安全問題,被惡意程序利用了,而是指程序本身沒有設計好,導致程序未能釋放已不再使用的內存。- 內存泄漏也不是指你的內存在物理上消失了,而是意味著代碼在分配了某段內存后,因為設計錯誤,失去了對這段內存的控制,從而造成了內存的浪費。也就是這塊內存脫離了gc的控制
計數引用
因為python中一切皆為對象,你所看到的一切變量,本質上都是對象的一個指針。
當一個對象不再調用的時候,也就是當這個對象的引用計數(指針數)為 0 的時候,說明這個對象永不可達,自然它也就成為了垃圾,需要被回收。可以簡單的理解為沒有任何變量再指向它。
代碼
import os
import psutil
# 顯示當前 python 程序占用的內存大小
def show_memory_info(hint):
pid = os.getpid()
p = psutil.Process(pid)
info = p.memory_full_info()
memory = info.uss / 1024./ 1024
print('{} memory used: {} MB'.format(hint, memory))
def func():
show_memory_info('initial')
a = [i for i in range(10000000)]
show_memory_info('after a created')
func()
show_memory_info('finished')
########## 輸出 ##########
initial memory used: 47.19140625 MB
after a created memory used: 433.91015625 MB
finished memory used: 48.109375 MB
可以看到調用函數 func(),在列表 a 被創建之后,內存占用迅速增加到了 433 MB:而在函數調用結束后,內存則返回正常。這是因為,函數內部聲明的列表 a 是局部變量,在函數返回后,局部變量的引用會注銷掉;此時,列表 a 所指代對象的引用數為 0,Python 便會執行垃圾回收,因此之前占用的大量內存就又回來了。
代碼
def func():
show_memory_info('initial')
global a
a = [i for i in range(10000000)]
show_memory_info('after a created')
func()
show_memory_info('finished')
########## 輸出 ##########
initial memory used: 48.88671875 MB
after a created memory used: 433.94921875 MB
finished memory used: 433.94921875 MB
新的這段代碼中,global a 表示將 a 聲明為全局變量。那么,即使函數返回后,列表的引用依然存在,于是對象就不會被垃圾回收掉,依然占用大量內存。同樣,如果我們把生成的列表返回,然后在主程序中接收,那么引用依然存在,垃圾回收就不會被觸發,大量內存仍然被占用著:
代碼
def func():
show_memory_info('initial')
a = [i for i in derange(10000000)]
show_memory_info('after a created')
return a
a = func()
show_memory_info('finished')
########## 輸出 ##########
initial memory used: 47.96484375 MB
after a created memory used: 434.515625 MB
finished memory used: 434.515625 MB
那怎么可以看到變量被引用了多少次呢?通過 sys.getrefcount
代碼
import sys
a = []
# 兩次引用,一次來自 a,一次來自 getrefcount
print(sys.getrefcount(a))
def func(a):
# 四次引用,a,python 的函數調用棧,函數參數,和 getrefcount
print(sys.getrefcount(a))
func(a)
# 兩次引用,一次來自 a,一次來自 getrefcount,函數 func 調用已經不存在
print(sys.getrefcount(a))
########## 輸出 ##########
2
4
2
如果其中涉及函數調用,會額外增加兩次1. 函數棧2. 函數調用
從這里就可以看到python不再需要像C那種的認為的釋放內存,但是python同樣給我們提供了手動釋放內存的方法 gc.collect()
代碼
import gc
show_memory_info('initial')
a = [i for i in range(10000000)]
show_memory_info('after a created')
del a
gc.collect()
show_memory_info('finish')
print(a)
########## 輸出 ##########
initial memory used: 48.1015625 MB
after a created memory used: 434.3828125 MB
finish memory used: 48.33203125 MB
---------------------------------------------------------------------------
NameErrorTraceback(most recent call last)
in
11
12 show_memory_info('finish')
---> 13print(a)
NameError: name 'a'isnotdefined
截止目前,貌似python的垃圾回收機制非常的簡單,只要對象引用次數為0,必定為觸發gc,那么引用次數為0是否是觸發gc的充要條件呢?
循環回收
如果有兩個對象,它們互相引用,并且不再被別的對象所引用,那么它們應該被垃圾回收嗎?
代碼
def func():
show_memory_info('initial')
a = [i for i in range(10000000)]
b = [i for i in range(10000000)]
show_memory_info('after a, b created')
a.append(b)
b.append(a)
func()
show_memory_info('finished')
########## 輸出 ##########
initial memory used: 47.984375 MB
after a, b created memory used: 822.73828125 MB
finished memory used: 821.73046875 MB
從結果顯而易見,它們并沒有被回收,但是從程序上來看,當這個函數結束的時候,作為局部變量的a,b就已經從程序意義上不存在了。但是因為它們的互相引用,導致了它們的引用數都不為0。
這時要如何規避呢1. 從代碼邏輯上進行整改,避免這種循環引用2. 通過人工回收
代碼:
import gc
def func():
show_memory_info('initial')
a = [i for i in range(10000000)]
b = [i for i in range(10000000)]
show_memory_info('after a, b created')
a.append(b)
b.append(a)
func()
gc.collect()
show_memory_info('finished')
########## 輸出 ##########
initial memory used: 49.51171875 MB
after a, b created memory used: 824.1328125 MB
finished memory used: 49.98046875 MB
python針對循環引用,有它的自動垃圾回收算法1. 標記清除(mark-sweep)算法2. 分代收集(generational)
標記清除
標記清除的步驟總結為如下步驟1. GC會把所有的『活動對象』打上標記2. 把那些沒有標記的對象『非活動對象』進行回收
那么python如何判斷何為非活動對象?
通過用圖論來理解不可達的概念。對于一個有向圖,如果從一個節點出發進行遍歷,并標記其經過的所有節點;那么,在遍歷結束后,所有沒有被標記的節點,我們就稱之為不可達節點。顯而易見,這些節點的存在是沒有任何意義的,自然的,我們就需要對它們進行垃圾回收。
但是每次都遍歷全圖,對于 Python 而言是一種巨大的性能浪費。所以,在 Python 的垃圾回收實現中,mark-sweep 使用雙向鏈表維護了一個數據結構,并且只考慮容器類的對象(只有容器類對象,list、dict、tuple,instance,才有可能產生循環引用)。
圖中把小黑圈視為全局變量,也就是把它作為root object,從小黑圈出發,對象1可直達,那么它將被標記,對象2、3可間接到達也會被標記,而4和5不可達,那么1、2、3就是活動對象,4和5是非活動對象會被GC回收。
分代回收
分代回收是一種以空間換時間的操作方式,Python將內存根據對象的存活時間劃分為不同的集合,每個集合稱為一個代,Python將內存分為了3“代”,分別為年輕代(第0代)、中年代(第1代)、老年代(第2代),他們對應的是3個鏈表,它們的垃圾收集頻率與對象的存活時間的增大而減小。新創建的對象都會分配在年輕代,年輕代鏈表的總數達到上限時(當垃圾回收器中新增對象減去刪除對象達到相應的閾值時),Python垃圾收集機制就會被觸發,把那些可以被回收的對象回收掉,而那些不會回收的對象就會被移到中年代去,依此類推,老年代中的對象是存活時間最久的對象,甚至是存活于整個系統的生命周期內。同時,分代回收是建立在標記清除技術基礎之上。
事實上,分代回收基于的思想是,新生的對象更有可能被垃圾回收,而存活更久的對象也有更高的概率繼續存活。因此,通過這種做法,可以節約不少計算量,從而提高 Python 的性能。
所以對于剛剛的問題,引用計數只是觸發gc的一個充分非必要條件,循環引用同樣也會觸發。
調試
可以使用 objgraph來調試程序,因為目前它的官方文檔,還沒有細讀,只能把文檔放在這供大家參閱啦~
其中兩個函數非常有用 1. show_refs() 2. show_backrefs()
總結垃圾回收是 Python 自帶的機制,用于自動釋放不會再用到的內存空間;
引用計數是其中最簡單的實現,不過切記,這只是充分非必要條件,因為循環引用需要通過不可達判定,來確定是否可以回收;
Python 的自動回收算法包括標記清除和分代回收,主要針對的是循環引用的垃圾收集;
調試內存泄漏方面, objgraph 是很好的可視化分析工具。
總結
以上是生活随笔為你收集整理的python怎么清理垃圾_Python 中的“垃圾”是怎么回收的?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python打开excel进行编辑_使用
- 下一篇: python内置作用域_python中的