Python工程师必备：深入理解weakref

发布时间：2023-05-10

1、介绍

Python中，一个变量只要没有任何引用指向它，它就可以被GC（垃圾回收机制）回收，释放内存空间。但是，对于某些特殊情况，我们需要在一个变量的引用全部失效之后，手动回收该变量所占用的内存空间。这时，就需要使用Python的weakref模块。 本文将为您深入解析weakref模块的使用方法和原理，帮助Python工程师更好地理解GC机制。

2、正文

1、什么是weakref？

Python中，引用是指某个变量与内存中存储数据的地址之间的关联关系。当一个独立的引用开始指向某个对象时，则认为该对象存在，反之则认为该对象不存在。 weakref是Python弱引用的实现，用于在一个变量没有任何引用指向它的情况下，手动删除该变量的所有引用。此时，该变量就成为了一个无主对象，可以被GC自动回收。 弱引用与Python的默认引用方式不同，它不会增加对象的引用计数，也不会阻止对象被GC回收，因此是一种更加安全、灵活的内存释放方式。

2、weakref的使用

2.1 创建weakref对象

Python中，使用weakref创建弱引用对象非常简单，只需要将要引用的对象作为参数传入weakref即可：

import weakref
class MyClass:
  pass
my_obj = MyClass()
my_obj_ref = weakref.ref(my_obj)

上面的代码段使用了weakref.ref()方法，创建了一个my_obj_ref对象，它是对my_obj对象的一个弱引用。

2.2 弱引用的查询

可以使用weakref对象的()方法，来查询与它相关联的弱引用对象是否还存在：

if my_obj_ref():
  print('my_obj还存在！')
else:
  print('my_obj已被回收！')

当一个对象没有任何强引用指向它时，weakref对象就会返回None，此时可以对该对象进行GC回收。

2.3 弱引用的删除与释放内存

使用Python的del方法，可以完全删除一个对象的引用。当某些对象的引用关系非常复杂时，需要手动删除它们之间的引用关系，以释放内存。 由于弱引用并不会直接或间接增加对象的引用计数，所以当所有强引用都被删除时，GC会自动回收对象所占用的内存空间。

del my_obj
if my_obj_ref() is None:
  print('my_obj已被成功删除！')

3、弱引用的类型

weakref模块提供了多种弱引用类型，包括：weakproxy、WeakValueDictionary、WeakKeyDictionary、WeakSet。 常用的几种类型如下：

3.1 weakproxy

使用weakproxy，可以对一个具有引用计数的Python对象创建一个弱引用。它的使用方式和弱引用类似，但是它不支持()方法进行引用查询。 weakproxy的应用场景很广泛，比如将一个函数或方法作为参数传递给其他函数进行使用。针对这种场景，最好使用weakproxy来创建函数对象。

import weakref
def my_func():
  print('Hello, World!')
my_func_proxy = weakref.proxy(my_func)
my_func_proxy()
del my_func
# 上面会输出"Hello, World!"，因为my_func_proxy是对my_func的一个弱引用，而不是引用它的名称

3.2 WeakValueDictionary

WeakValueDictionary是Python的一种弱引用字典类型，可以方便地对字典中的值创建弱引用。 在使用WeakValueDictionary时，如果字典中的某个值被删除了，则该值的键也会被一起删除，以免出现内存泄漏。

import weakref
my_dict = weakref.WeakValueDictionary()
my_obj = MyClass()
my_dict['key'] = my_obj
del my_obj
if 'key' not in my_dict:
  print('my_obj的键已成功删除！')

3.3 WeakKeyDictionary

WeakKeyDictionary与WeakValueDictionary非常类似，它们之间的区别只在于存储的值不同。WeakKeyDictionary的键是一个弱引用，值则是一个正常的Python对象。 当键所对应的对象被GC回收时，该键会从字典中自动删除，以免出现内存泄漏。

import weakref
my_dict = weakref.WeakKeyDictionary()
my_key = MyClass()
my_dict[my_key] = 'value'
del my_key
if len(my_dict) == 0:
  print('my_key的键已成功删除！')

4、weakref的应用

weakref模块的应用场景很广泛，常见的几个应用场景如下：

4.1 循环引用

当两个对象相互引用时，就会产生循环引用的问题。如果两个对象之间都是强引用，则它们就都无法被GC回收，会导致内存泄漏。 解决循环引用的问题，可以使用weakref来创建对象之间的弱引用关系。

import weakref
class MyClass:
  def __init__(self):
    self.my_obj_ref = None
class MyObj:
  def __init__(self, obj_ref):
    self.obj_ref = weakref.ref(obj_ref)
my_obj = MyClass()
my_obj.my_obj_ref = MyObj(my_obj)
# 当需要删除my_obj时，删除my_obj.my_obj_ref所对应的引用，则可以防止内存泄漏

4.2 对象缓存

使用缓存可以提高程序的性能，同时减少内存的占用。但是，缓存中的对象如果没有及时地被回收，则会导致内存泄漏。 缓存中的对象可以使用weakref来创建弱引用关系，当某个对象在缓存中被使用了一段时间之后，如果没有任何强引用指向它，则该对象的弱引用就会被回收，从而让该对象可被GC回收。

3、小结

本文为Python工程师深入解析weakref模块，阐述了weakref的概念、使用方法和原理，同时介绍了几种常见的弱引用类型。 作为Python内存管理机制中的重要概念，需要在实际的开发中加以应用，以优化程序的性能，并避免内存泄漏的问题。

推荐文章