Python性能分析入门指南

jieforest

一旦你的程序退出，你应该可以看到这样的输出：

Filename: primes.py

1. Line #    Mem usage  Increment   Line Contents
   
2. ==============================================
   
3.      2                           @profile
   
4.      3    7.9219 MB  0.0000 MB   def primes(n):
   
5.      4    7.9219 MB  0.0000 MB       if n==2:
   
6.      5                                   return [2]
   
7.      6    7.9219 MB  0.0000 MB       elif n<2:
   
8.      7                                   return []
   
9.      8    7.9219 MB  0.0000 MB       s=range(3,n+1,2)
   
10.      9    7.9258 MB  0.0039 MB       mroot = n ** 0.5
    
11.     10    7.9258 MB  0.0000 MB       half=(n+1)/2-1
    
12.     11    7.9258 MB  0.0000 MB       i=0
    
13.     12    7.9258 MB  0.0000 MB       m=3
    
14.     13    7.9297 MB  0.0039 MB       while m <= mroot:
    
15.     14    7.9297 MB  0.0000 MB           if s[i]:
    
16.     15    7.9297 MB  0.0000 MB               j=(m*m-3)/2
    
17.     16    7.9258 MB -0.0039 MB               s[j]=0
    
18.     17    7.9297 MB  0.0039 MB               while j<half:
    
19.     18    7.9297 MB  0.0000 MB                   s[j]=0
    
20.     19    7.9297 MB  0.0000 MB                   j+=m
    
21.     20    7.9297 MB  0.0000 MB           i=i+1
    
22.     21    7.9297 MB  0.0000 MB           m=2*i+3
    
23.     22    7.9297 MB  0.0000 MB       return [2]+[x for x in s if x]
    

复制代码

jieforest

line_profiler 和 memory_profiler 的 IPython 快捷命令

line_profiler 和 memory_profiler 一个鲜为人知的特性就是在 IPython 上都有快捷命令。你所能做的就是在 IPython 上键入以下命令：

1. 
   
2. %load_ext memory_profiler
   
3. %load_ext line_profiler

复制代码

这样做了以后，你就可以使用魔法命令 %lprun 和 %mprun 了，它们表现的像它们命令行的副本，最主要的不同就是你不需要给你需要分析的函数设置 @profile 修饰符。直接在你的 IPython 会话上继续分析吧。

1. 
   
2. In [1]: from primes import primes
   
3. In [2]: %mprun -f primes primes(1000)
   
4. In [3]: %lprun -f primes primes(1000)

复制代码

这可以节省你大量的时间和精力,因为使用这些分析命令，你不需要修改你的源代码。

jieforest

哪里内存溢出了？

cPython的解释器使用引用计数来作为它跟踪内存的主要方法。这意味着每个对象持有一个计数器，当增加某个对象的引用存储的时候，计数器就会增加，当一个引用被删除的时候，计数器就是减少。当计数器达到0， cPython 解释器就知道该对象不再使用，因此解释器将删除这个对象，并且释放该对象持有的内存。

内存泄漏往往发生在即使该对象不再使用的时候，你的程序还持有对该对象的引用。

最快速发现内存泄漏的方式就是使用一个由 Marius Gedminas 编写的非常好的称为 [objgraph][6] 的工具。

这个工具可以让你看到在内存中对象的数量,也定位在代码中所有不同的地方,对这些对象的引用。

开始，我们首先安装 objgraph

1. pip install objgraph

复制代码

一旦你安装了这个工具，在你的代码中插入一个调用调试器的声明。

1. import pdb; pdb.set_trace()

复制代码

jieforest

哪个对象最常见

在运行时,你可以检查在运行在你的程序中的前20名最普遍的对象

1. pdb) import objgraph
   
2. (pdb) objgraph.show_most_common_types()
   
3. 
   
4. MyBigFatObject             20000
   
5. tuple                      16938
   
6. function                   4310
   
7. dict                       2790
   
8. wrapper_descriptor         1181
   
9. builtin_function_or_method 934
   
10. weakref                    764
    
11. list                       634
    
12. method_descriptor          507
    
13. getset_descriptor          451
    
14. type                       439
    

复制代码

jieforest

哪个对象被增加或是删除了？

我们能在两个时间点之间看到哪些对象被增加或是删除了。

1. (pdb) import objgraph
   
2. (pdb) objgraph.show_growth()
   
3. .
   
4. .
   
5. .
   
6. (pdb) objgraph.show_growth()   # this only shows objects that has been added or deleted since last show_growth() call
   
7. 
   
8. traceback                4        +2
   
9. KeyboardInterrupt        1        +1
   
10. frame                   24        +1
    
11. list                   667        +1
    
12. tuple                16969        +1
    

复制代码

jieforest

这个泄漏对象的引用是什么？

继续下去，我们还可以看到任何给定对象的引用在什么地方。让我们以下面这个简单的程序举个例子。

1. x = [1]
   
2. y = [x, [x], {"a":x}]
   
3. import pdb; pdb.set_trace()
   

复制代码

为了看到持有变量 X 的引用是什么，运行 objgraph.show_backref() 函数：

1. (pdb) import objgraph
   
2. (pdb) objgraph.show_backref([x], filename="/tmp/backrefs.png")

复制代码

jieforest

该命令的输出是一个 PNG 图片，被存储在 /tmp/backrefs.png，它应该看起来像这样：

jieforest

盒子底部有红色字体就是我们感兴趣的对象，我们可以看到它被符号 x 引用了一次，被列表 y 引用了三次。如果 x 这个对象引起了内存泄漏，我们可以使用这种方法来追踪它的所有引用，以便看到为什么它没有被自动被收回。

回顾一遍，objgraph 允许我们：

1) 显示占用 Python 程序内存的前 N 个对象

2) 显示在一段时期内哪些对象被增加了，哪些对象被删除了

3) 显示我们脚本中获得的所有引用

jieforest

Effort vs precision

在这篇文章中,我展示了如何使用一些工具来分析一个python程序的性能。通过这些工具和技术的武装，你应该可以获取所有要求追踪大多数内存泄漏以及在Python程序快速识别瓶颈的信息。

和许多其他主题一样,运行性能分析意味着要在付出和精度之间的平衡做取舍。当有疑问是，用最简单的方案，满足你当前的需求。

jieforest

over.