位置: Linuxeden主页>使用经验>

Python 代码性能优化技巧(3)

来源:开源中国社区 作者:IBM/DW
　　

上述代码直接运行大概需要 17s，而改为使用列表解析后 ，运行时间缩短为 9.29s。将近提高了一半。生成器表达式则是在 2.4 中引入的新内容，语法和列表解析类似，但是在大数据量处理时，生成器表达式的优势较为明显，它并不创建一个列表，只是返回一个生成器，因此效率较高。在上 述例子上中代码 a = [w for w in list] 修改为 a = (w for w in list)，运行时间进一步减少，缩短约为 2.98s。

其他优化技巧

  1. 如果需要交换两个变量的值使用 a,b=b,a 而不是借助中间变量 t=a;a=b;b=t；
     
1 >>> from timeit import Timer
2 >>> Timer("t=a;a=b;b=t","a=1;b=2").timeit()
3 0.25154118749729365
4 >>> Timer("a,b=b,a","a=1;b=2").timeit()
5 0.17156677734181258
6 >>>
  1. 在循环的时候使用 xrange 而不是 range；使用 xrange 可以节省大量的系统内存，因为 xrange() 在序列中每次调用只产生一个整数元素。而 range() 將直接返回完整的元素列表，用于循环时会有不必要的开销。在 python3 中 xrange 不再存在，里面 range 提供一个可以遍历任意长度的范围的 iterator。
  2. 使用局部变量，避免"global" 关键字。python 访问局部变量会比全局变量要快得多，因 此可以利用这一特性提升性能。
  3. if done is not None 比语句 if done != None 更快，读者可以自行验证；
  4. 在耗时较多的循环中，可以把函数的调用改为内联的方式；
  5. 使用级联比较 "x < y < z" 而不是 "x < y and y < z"；
  6. while 1 要比 while True 更快（当然后者的可读性更好）；
  7. build in 函数通常较快，add(a,b) 要优于 a+b。

定位程序性能瓶颈

对代码优化的前提是需要了解性能瓶颈在什么地方，程序运行的主要时间是消耗在哪里，对于比较复杂的代码可以借助一些工具来定位，python 内置了丰富的性能分析工具，如 profile,cProfile 与 hotshot 等。其中 Profiler 是 python 自带的一组程序，能够描述程序运行时候的性能，并提供各种统计帮助用户定位程序的性能瓶颈。Python 标准模块提供三种 profilers:cProfile,profile 以及 hotshot。

profile 的使用非常简单，只需要在使用之前进行 import 即可。具体实例如下：


清单 8. 使用 profile 进行性能分析
 
1 import profile
2 def profileTest():
3 Total =1;
4 for i in range(10):
5 Total=Total*(i+1)
6 print Total
7 return Total
8 if __name__ == "__main__":
9 profile.run("profileTest()")
程序的运行结果如下：
图 1. 性能分析结果
图 1. 性能分析结果

其中输出每列的具体解释如下：

如果需要将输出以日志的形式保存，只需要在调用的时候加入另外一个参数。如 profile.run("profileTest()","testprof")。

对于 profile 的剖析数据，如果以二进制文件的时候保存结果的时候，可以通过 pstats 模块进行文本报表分析，它支持多种形式的报表输出，是文本界面下一个较为实用的工具。使用非常简单：

 
1 import pstats
2 p = pstats.Stats('testprof')
3 p.sort_stats("name").print_stats()

其中 sort_stats() 方法能够对剖分数据进行排序， 可以接受多个排序字段，如 sort_stats('name', 'file') 将首先按照函数名称进行排序，然后再按照文件名进行排序。常见的排序字段有 calls( 被调用的次数 )，time（函数内部运行时间），cumulative（运行的总时间）等。此外 pstats 也提供了命令行交互工具，执行 python – m pstats 后可以通过 help 了解更多使用方式。

对于大型应用程序，如果能够将性能分析的结果以图形的方式呈现，将会非常实用和直观，常见的可视化工具有 Gprof2Dot，visualpytune，KCacheGrind 等，读者可以自行查阅相关官网，本文不做详细讨论。

 

 

Python 性能优化工具

Python 性能优化除了改进算法，选用合适的数据结构之外，还有几种关键的技术，比如将关键 python 代码部分重写成 C 扩展模块，或者选用在性能上更为优化的解释器等，这些在本文中统称为优化工具。python 有很多自带的优化工具，如 Psyco，Pypy，Cython，Pyrex 等，这些优化工具各有千秋，本节选择几种进行介绍。

Psyco

psyco 是一个 just-in-time 的编译器，它能够在不改变源代码的情况下提高一定的性能，Psyco 将操作编译成有点优化的机器码，其操作分成三个不同的级别，有"运行时"、"编译时"和"虚拟时"变量。并根据需要提高和降低变量的级别。运行时变量只是 常规 Python 解释器处理的原始字节码和对象结构。一旦 Psyco 将操作编译成机器码，那么编译时变量就会在机器寄存器和可直接访问的内存位置中表示。同时 python 能高速缓存已编译的机器码以备今后重用，这样能节省一点时间。但 Psyco 也有其缺点，其本身运行所占内存较大。目前 psyco 已经不在 python2.7 中支持，而且不再提供维护和更新了，对其感兴趣的可以参考 http://psyco.sourceforge.net/

Pypy

PyPy 表示 "用 Python 实现的 Python"，但实际上它是使用一个称为 RPython 的 Python 子集实现的，能够将 Python 代码转成 C， .NET， Java 等语言和平台的代码。PyPy 集成了一种即时 (JIT) 编译器。和许多编译器，解释器不同，它不关心 Python 代码的词法分析和语法树。 因为它是用 Python 语言写的，所以它直接利用 Python 语言的 Code Object.。 Code Object 是 Python 字节码的表示，也就是说， PyPy 直接分析 Python 代码所对应的字节码 ,，这些字节码即不是以字符形式也不是以某种二进制格式保存在文件中， 而在 Python 运行环境中。目前版本是 1.8. 支持不同的平台安装，windows 上安装 Pypy 需要先下载 https://bitbucket.org/pypy/pypy/downloads/pypy-1.8-win32.zip， 然后解压到相关的目录，并将解压后的路径添加到环境变量 path 中即可。在命令行运行 pypy，如果出现如下错误："没有找到 MSVCR100.dll, 因此这个应用程序未能启动，重新安装应用程序可能会修复此问题"，则还需要在微软的官网上下载 VS 2010 runtime libraries 解决该问题。具体地址为 http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=5555

安装成功后在命令行里运行 pypy，输出结果如下：

 
1 C:\Documents and Settings\Administrator>pypy
2 Python 2.7.2 (0e28b379d8b3, Feb 09 2012, 18:31:47)
3 [PyPy 1.8.0 with MSC v.1500 32 bit] on win32
4 Type "help", "copyright", "credits" or "license" for more information.
5 And now for something completely different: ``PyPy is vast, and contains
6 multitudes''
7 >>>>

以清单 5 的循环为例子，使用 python 和 pypy 分别运行，得到的运行结果分别如下：

 
1 C:\Documents and Settings\Administrator\ 桌面 \doc\python>pypy loop.py
2 total run time:
3 8.42199993134
4  
5 C:\Documents and Settings\Administrator\ 桌面 \doc\python>python loop.py
6 total run time:
7 106.391000032

可见使用 pypy 来编译和运行程序，其效率大大的提高。

Cython

Cython 是用 python 实现的一种语言，可以用来写 python 扩展，用它写出来的库都可以通过 import 来载入，性能上比 python 的快。cython 里可以载入 python 扩展 ( 比如 import math)，也可以载入 c 的库的头文件 ( 比如 :cdef extern from "math.h")，另外也可以用它来写 python 代码。将关键部分重写成 C 扩展模块

Linux Cpython 的安装：

第一步：下载

 [root@v5254085f259 cpython]# wget -N http://cython.org/release/Cython-0.15.1.zip 
 --2012-04-16 22:08:35--  http://cython.org/release/Cython-0.15.1.zip 
 Resolving cython.org... 128.208.160.197 
 Connecting to cython.org|128.208.160.197|:80... connected. 
 HTTP request sent, awaiting response... 200 OK 
 Length: 2200299 (2.1M) [application/zip] 
 Saving to: `Cython-0.15.1.zip'

 100%[======================================>] 2,200,299   1.96M/s   in 1.1s 

 2012-04-16 22:08:37 (1.96 MB/s) - `Cython-0.15.1.zip' saved [2200299/2200299]

第二步：解压

 [root@v5254085f259 cpython]# unzip -o Cython-0.15.1.zip

第三步：安装

 python setup.py install

安装完成后直接输入 cython，如果出现如下内容则表明安装成功。

 [root@v5254085f259 Cython-0.15.1]# cython 
 Cython (http://cython.org) is a compiler for code written in the 
 Cython language.  Cython is based on Pyrex by Greg Ewing. 

 Usage: cython [options] sourcefile.{pyx,py} ... 

 Options: 
  -V, --version                  Display version number of cython compiler 
  -l, --create-listing           Write error messages to a listing file 
  -I, --include-dir <directory>  Search for include files in named directory 
                                 (multiple include directories are allowed). 
  -o, --output-file <filename>   Specify name of generated C file 
  -t, --timestamps               Only compile newer source files 
  -f, --force                    Compile all source files (overrides implied -t) 
  -q, --quiet                    Don't print module names in recursive mode 
  -v, --verbose                  Be verbose, print file names on multiple compil ation 
  -p, --embed-positions          If specified, the positions in Cython files of each 
  function definition is embedded in its docstring. 
  --cleanup <level> 
  Release interned objects on python exit, for memory debugging. 
    Level indicates aggressiveness, default 0 releases nothing. 
  -w, --working <directory> 
  Sets the working directory for Cython (the directory modules are searched from) 
  --gdb Output debug information for cygdb 
  -D, --no-docstrings 
              Strip docstrings from the compiled module. 
  -a, --annotate 
              Produce a colorized HTML version of the source. 
  --line-directives 
              Produce #line directives pointing to the .pyx source 
  --cplus 
              Output a C++ rather than C file. 
  --embed[=<method_name>] 
              Generate a main() function that embeds the Python interpreter. 
  -2          Compile based on Python-2 syntax and code seman tics. 
  -3          Compile based on Python-3 syntax and code seman tics. 
  --fast-fail     Abort the compilation on the first error 
  --warning-error, -Werror       Make all warnings into errors 
  --warning-extra, -Wextra       Enable extra warnings 
  -X, --directive <name>=<value> 
  [,<name=value,...] Overrides a compiler directive

其他平台上的安装可以参考文档：http://docs.cython.org/src/quickstart/install.html

Cython 代码与 python 不同，必须先编译，编译一般需要经过两个阶段，将 pyx 文件编译为 .c 文件，再将 .c 文件编译为 .so 文件。编译有多种方法：

假设有如下测试代码，使用命令行编译为 .c 文件。

 def sum(int a,int b): 
        print a+b 

 [root@v5254085f259 test]# cython sum.pyx 
 [root@v5254085f259 test]# ls 
 total 76 
 4 drwxr-xr-x 2 root root  4096 Apr 17 02:45 . 
 4 drwxr-xr-x 4 root root  4096 Apr 16 22:20 .. 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 1 
 60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 sum.pyx

在 linux 上利用 gcc 编译为 .so 文件：

 [root@v5254085f259 test]# gcc -shared -pthread -fPIC -fwrapv -O2 
 -Wall -fno-strict-aliasing -I/usr/include/python2.4 -o sum.so sum.c 
 [root@v5254085f259 test]# ls 
 total 96 
 4 drwxr-xr-x 2 root root  4096 Apr 17 02:47 . 
 4 drwxr-xr-x 4 root root  4096 Apr 16 22:20 .. 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 1 
 60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 sum.pyx 
 20 -rwxr-xr-x 1 root root 20307 Apr 17 02:47 sum.so

建立一个 setup.py 的脚本：

 from distutils.core import setup 
 from distutils.extension import Extension 
 from Cython.Distutils import build_ext 

 ext_modules = [Extension("sum", ["sum.pyx"])] 

 setup( 
    name = 'sum app', 
    cmdclass = {'build_ext': build_ext}, 
    ext_modules = ext_modules 
 ) 


 [root@v5254085f259 test]#  python setup.py build_ext --inplace 
 running build_ext 
 cythoning sum.pyx to sum.c 
 building 'sum' extension 
 gcc -pthread -fno-strict-aliasing -fPIC -g -O2 -DNDEBUG -g -fwrapv -O3 
 -Wall -Wstrict-prototypes -fPIC -I/opt/ActivePython-2.7/include/python2.7 
  -c sum.c -o build/temp.linux-x86_64-2.7/sum.o 
 gcc -pthread -shared build/temp.linux-x86_64-2.7/sum.o 
 -o /root/cpython/test/sum.so

编译完成之后可以导入到 python 中使用：

 [root@v5254085f259 test]# python 
 ActivePython 2.7.2.5 (ActiveState Software Inc.) based on 
 Python 2.7.2 (default, Jun 24 2011, 11:24:26) 
 [GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2 
 Type "help", "copyright", "credits" or "license" for more information. 
 >>> import pyximport; pyximport.install() 
 >>> import sum 
 >>> sum.sum(1,3)

下面来进行一个简单的性能比较：


清单 9. Cython 测试代码 
				
 from time import time 
 def test(int n): 
        cdef int a =0 
        cdef int i 
        for i in xrange(n): 
                a+= i 
        return a 

 t = time() 
 test(10000000) 
 print "total run time:"
 print time()-t

测试结果：

 [GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2 
 Type "help", "copyright", "credits" or "license" for more information. 
 >>> import pyximport; pyximport.install() 
 >>> import ctest 
 total run time: 
 0.00714015960693


清单 10. Python 测试代码 
				
 from time import time 
 def test(n): 
        a =0; 
        for i in xrange(n): 
                a+= i 
        return a 

 t = time() 
 test(10000000) 
 print "total run time:"
 print time()-t 

 [root@v5254085f259 test]# python test.py 
 total run time: 
 0.971596002579

从上述对比可以看到使用 Cython 的速度提高了将近 100 多倍。

总结

本文初步探讨了 python 常见的性能优化技巧以及如何借助工具来定位和分析程序的性能瓶颈，并提供了相关可以进行性能优化的工具或语言，希望能够更相关人员一些参考。


时间:2012-07-30 07:46 来源:开源中国社区 作者:IBM/DW 原文链接

好文,顶一下
(0)
0%
文章真差,踩一下
(0)
0%
------分隔线----------------------------


把开源带在你的身边-精美linux小纪念品
文章分类
软件导航
论坛导航
论坛精华
一周热点
无觅相关文章插件，快速提升流量