前言

在上一篇文章【python进阶】Garbage collection垃圾回收1,我们讲述了Garbage collection(GC垃圾回收),画说Ruby与Python垃圾回收,Python中的循环数据结构以及引⽤计数以及Python中的GC阈值,这一节我们将继续介绍GC模块的一些应用和注意事项,下面开始今天的讲解~~

一、垃圾回收机制

Python中的垃圾回收是以引⽤计数为主,分代收集为辅。

1、导致引⽤计数+1的情况

  • 对象被创建,例如a=23
  • 对象被引⽤,例如b=a
  • 对象被作为参数,传⼊到⼀个函数中,例如func(a)
  • 对象作为⼀个元素,存储在容器中,例如list1=[a,a]

2、导致引⽤计数-1的情况

  • 对象的别名被显式销毁,例如del a
  • 对象的别名被赋予新的对象,例如a=24
  • ⼀个对象离开它的作⽤域,例如f函数执⾏完毕时,func函数中的局部变量(全局变量不会)
  • 对象所在的容器被销毁,或从容器中删除对象

3、查看⼀个对象的引⽤计数

In [1]: import sys 
 
In [2]: a = "hello world" 
 
In [3]: sys.getrefcount(a) 
Out[3]: 2

可以查看a对象的引⽤计数,但是⽐正常计数⼤1,因为调⽤函数的时候传⼊ a,这会让a的引⽤计数+1

二、循环引⽤导致内存泄露

引⽤计数的缺陷是循环引⽤的问题

import sys 
a = "hello world" 
sys.getrefcount(a) 
 
import gc 
class ClassA(): 
    def __init__(self): 
        print('object born,id:%s'%str(hex(id(self)))) 
 
def f2(): 
    while True: 
        c1 = ClassA() 
        c2 = ClassA() 
        c1.t = c2 
        c2.t = c1 
        del c1 
        del c2 
 
#把python的gc关闭 
gc.disable() 
f2()

执⾏f2(),进程占⽤的内存会不断增⼤。

  • 创建了c1,c2后这两块内存的引⽤计数都是1,执⾏ c1.t=c2 和 c2.t=c1 后,这两块内存的引⽤计数变成2.
  • 在del c1后,内存1的对象的引⽤计数变为1,由于不是为0,所以内存1的对象不会被销毁,所以内存2的对象的引⽤数依然是2,在del c2后, 同理,内存1的对象,内存2的对象的引⽤数都是1。
  • 虽然它们两个的对象都是可以被销毁的,但是由于循环引⽤,导致垃圾 回收器都不会回收它们,所以就会导致内存泄露。

三、垃圾回收

import gc 
class ClassA(): 
    def __init__(self): 
        print('object born,id:%s'%str(hex(id(self)))) 
    #def __del__(self): 
    #    print('object del,id:%s'%str(hex(id(self)))) 
 
def f3(): 
    print("-----0------") 
    #print(gc.collect()) 
    c1 = ClassA() 
    c2 = ClassA() 
    c1.t = c2 
    c2.t = c1 
    print("-----1------") 
    del c1 
    del c2 
    print("-----2------") 
    print(gc.garbage) 
    print("-----3------") 
    print(gc.collect())#显式执⾏垃圾回收 
    print("-----4------") 
    print(gc.garbage) 
    print("-----5------") 
 
if __name__ == '__main__': 
    gc.set_debug(gc.DEBUG_LEAK)#设置gc模块的日志 
    f3()

python3结果如下:

-----0------ 
object born,id:0x7fcd059190f0 
object born,id:0x7fcd05919240 
-----1------ 
-----2------ 
[] 
-----3------ 
gc: collectable <ClassA 0x7fcd059190f0> 
gc: collectable <ClassA 0x7fcd05919240> 
gc: collectable <dict 0x7fcd05989d48> 
gc: collectable <dict 0x7fcd058f24c8> 
4 
-----4------ 
[<__main__.ClassA object at 0x7fcd059190f0>, <__main__.ClassA object at 0x7fcd05919240>, {'t': <__main__.ClassA object at 0x7fcd05919240>}, {'t': <__main__.ClassA object at 0x7fcd059190f0>}] 
-----5------ 
gc: collectable <module 0x7fcd059715e8> 
gc: collectable <dict 0x7fcd0597af08> 
gc: collectable <builtin_function_or_method 0x7fcd0596fdc8> 
...

说明:

  • 垃圾回收后的对象会放在gc.garbage列表⾥⾯ 
  • gc.collect()会返回不可达的对象数⽬,4等于两个对象以及它们对应的 dict

有三种情况会触发垃圾回收:

  1. 调⽤gc.collect(), 
  2. 当gc模块的计数器达到阀值的时候。 
  3. 程序退出的时候

四、gc模块常⽤功能解析

gc模块提供⼀个接⼝给开发者设置垃圾回收的选项 。上⾯说到,采⽤引⽤计数的⽅法管理内存的⼀个缺陷是循环引⽤,⽽gc模块的⼀个主要功能就是解决循环引⽤的问题。

常⽤函数:

1、gc.set_debug(flags) 设置gc的debug⽇志,⼀般设置为gc.DEBUG_LEAK
2、gc.collect([generation]) 显式进⾏垃圾回收,可以输⼊参数,0代表只检查第⼀代的对象,1代表检查⼀,⼆代的对象,2代表检查⼀,⼆,三代的对象,如果不传参数,执⾏⼀个full collection,也就是等于传2。 返回不可达(unreachable objects)对象的数⽬
3、gc.get_threshold() 获取的gc模块中⾃动执⾏垃圾回收的频率。
4、gc.set_threshold(threshold0[, threshold1[, threshold2]) 设置⾃动执⾏垃圾回收的频率。
5、gc.get_count() 获取当前⾃动执⾏垃圾回收的计数器,返回⼀个⻓度为3的列表。

gc模块的⾃动垃圾回收机制

必须要import gc模块,并且 is_enable()=True 才会启动⾃动垃圾回收。
这个机制的主要作⽤就是发现并处理不可达的垃圾对象 。
垃圾回收=垃圾检查+垃圾回收
在Python中,采⽤分代收集的⽅法。把对象分为三代,⼀开始,对象在创建的时候,放在⼀代中,如果在⼀次⼀代的垃圾检查中,改对象存活下来,就会被放到⼆代中,同理在⼀次⼆代的垃圾检查中,该对象存活下来,就会被放到三代中。
gc模块⾥⾯会有⼀个⻓度为3的列表的计数器,可以通过gc.get_count()获取。
例如(488,3,0),其中488是指距离上⼀次⼀代垃圾检查,Python分配内存的 数⽬减去释放内存的数⽬,注意是内存分配,⽽不是引⽤计数的增加。例如:

print(gc.get_count())#(590,8,0) 
a = ClassA() 
print(gc.get_count())#(590,8,0) 
del a 
print(gc.get_count())#(590,8,0)

3是指距离上⼀次⼆代垃圾检查,⼀代垃圾检查的次数,同理,0是指距离上 ⼀次三代垃圾检查,⼆代垃圾检查的次数。
gc模快有⼀个⾃动垃圾回收的阀值 ,即通过gc.get_threshold函数获取到的 ⻓度为3的元组,例如(700,10,10) 每⼀次计数器的增加,gc模块就会检查增加后的计数是否达到阀值的数⽬,如果是,就会执⾏对应的代数的垃圾检查,然后重置计数器.
例如,假设阀值是(700,10,10):

当计数器从(699,3,0)增加到(700,3,0),gc模块就会执⾏gc.collect(0),即检查⼀代对象的垃圾,并重置计数器 
当计数器从(699,9,0)增加到(700,9,0),gc模块就会执⾏gc.collect(1),即检查⼀、⼆代对象的垃圾,并重置计数器 
当计数器从(699,9,9)增加到(700,9,9),gc模块就会执⾏gc.collect(2),即检查⼀、⼆、三对象的垃圾,并重置计数器

注意点

gc模块唯⼀处理不了的是循环引⽤的类都有__del__⽅法,所以项⽬中要避免 定义__del__⽅法

import gc 
class ClassA(): 
    pass 
    #def __del__(self): 
    #    print('object born,id:%s'%str(hex(id(self)))) 
 
gc.set_debug(gc.DEBUG_LEAK) 
a = ClassA() 
b = ClassA() 
a.next = b 
b.prev = a 
print("--1--") 
print(gc.collect()) 
print("--2--") 
del a 
print("--3--") 
del b 
print("--3-1--") 
print(gc.collect()) 
print("--4--")

运行结果如下:

--1-- 
0 
--2-- 
--3-- 
--3-1-- 
gc: collectable <ClassA 0x7f599dc690f0> 
gc: collectable <ClassA 0x7f599dc69160> 
gc: collectable <dict 0x7f599dcdcd48> 
gc: collectable <dict 0x7f599dcdcdc8> 
4 
--4-- 
gc: collectable <module 0x7f599dcc45e8> 
gc: collectable <dict 0x7f599dccdf08> 
gc: collectable <builtin_function_or_method 0x7f599dcc2dc8> 
...

如果把del打开,运⾏结果为:

--1-- 
0 
--2-- 
--3-- 
--3-1-- 
gc: collectable <ClassA 0x7fb236853128> 
gc: collectable <ClassA 0x7fb236853160> 
gc: collectable <dict 0x7fb2368c5d48> 
gc: collectable <dict 0x7fb2368c5ec8> 
object born,id:0x7fb236853128 
object born,id:0x7fb236853160 
4 
--4-- 
gc: collectable <module 0x7fb2368ad5e8> 
gc: collectable <dict 0x7fb2368b6f08> 
gc: collectable <builtin_function_or_method 0x7fb2368abdc8> 
...

 

发布评论

分享到:

IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

python进阶Garbage collection垃圾回收1详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。