Python 研究(Dive Into Python)

lastwinner · 发表于 2006-7-20 01:49

18.6. 优化字符串操作
Soundex 算法的最后一步是对短结果补零和截短长结果。最佳的做法是什么？

这是目前在 soundex/stage2/soundex2c.py 中的做法：

digits3 = re.sub('9', '', digits2)
while len(digits3) < 4:
      digits3 += "0"
return digits3[:4]
这里是 soundex2c.py 的表现：

C:\samples\soundex\stage2>python soundex2c.py
Woo          W000 12.6070768771
Pilgrim       P426 14.4033353401
Flingjingwaller F452 19.7774882003
思考的第一件事是以循环取代正则表达式。这里的代码来自 soundex/stage4/soundex4a.py：

digits3 = ''
for d in digits2:
      if d != '9':
         digits3 += d

lastwinner · 发表于 2006-7-20 01:49

soundex4a.py 快了吗？是的：

C:\samples\soundex\stage4>python soundex4a.py
Woo          W000 6.62865531792
Pilgrim       P426 9.02247576158
Flingjingwaller F452 13.6328416042
但是，等一下。一个从字符串去除字符的循环？我们可以用一个简单的字符串方法做到。这便是 soundex/stage4/soundex4b.py：

digits3 = digits2.replace('9', '')
soundex4b.py 快了吗？这是个有趣的问题，它取决输入值：

C:\samples\soundex\stage4>python soundex4b.py
Woo          W000 6.75477414029
Pilgrim       P426 7.56652144337
Flingjingwaller F452 10.8727729362
soundex4b.py 中的字符串方法对于大多数名字比循环快，但是对于短小的情况（很短的名字）却比 soundex4a.py 略微慢些。性能优化并不总是一致的，对于一个情况快些，却可能对另外一些情况慢些。就此而言，大多数情况将会从改变中获益，所以就改吧，但是别忘了原则。

lastwinner · 发表于 2006-7-20 01:49

最后仍很重要的是，让我们检测算法的最后两步：以零补齐短结果和截短超过四字符的长结果。你在 soundex4b.py 中看到的代码就是做这个工作的，但是太没效率了。看一下 soundex/stage4/soundex4c.py 找出原因：

digits3 += '000'
return digits3[:4]
我们为什么需要一个 while 循环来补齐结果？我们早就知道我们需要把结果截成四字符，并且我们知道我们已经有了一个没有改变的字符（起始字符从 source 中不作改变的拿过来）。这意味着我们可以仅仅在输出的结尾添加三个零，然后截短它。不要害怕重新理解问题，从不太一样的角度看问题可以获得简单的解决方案。

我们丢弃 while 循环后从 soundex4c.py 中获得怎样的速度？太明显了：

C:\samples\soundex\stage4>python soundex4c.py
Woo W000 4.89129791636
Pilgrim P426 7.30642134685
Flingjingwaller F452 10.689832367

lastwinner · 发表于 2006-7-20 01:49

最后，还有一件事可以另这三行运行的更快：你可以把它们合并为一行。看一眼 soundex/stage4/soundex4d.py：

return (digits2.replace('9', '') + '000')[:4]
在 soundex4d.py 中把所有代码放在一行可以比 soundex4c.py 稍微快那么一点：

C:\samples\soundex\stage4>python soundex4d.py
Woo W000 4.93624105857
Pilgrim P426 7.19747593619
Flingjingwaller F452 10.5490700634
它非常难懂，而且优化也不明显。这值得吗？我希望你有很好的见解。性能并不是一切。你在优化方面的努力应该与程序的可读性和可维护性相平衡。

lastwinner · 发表于 2006-7-20 01:50

18.7. 小结
这一章展示了性能优化的几个重要方面，这里是就 Python 而言，但它们却普遍使用。

如果你要在正则表达式和编写循环间抉择，选择正则表达式。正则表达式因其是以 C 语言编译的可以本能地在你的计算机上运行，你的循环却以 Python 编写需要通过 Python 解释器运行。
如果你需要在正则表达式和字符串方法间抉择，选择字符串方法。它们都是以 C 编译的，所以选取简单的。
字典查找的通常应用很快，但是 string.maketrans 之类的特殊函数和 isalpha() 之类的字符串方法更快。如果 Python 有定制方法给你用，就使它吧！
别太聪明了。有时一些明显的算法是最快的。
不要太迷恋性能优化，性能并不是一切。

最后一点太重要了，这章中你令这个程序三倍的提速并且另百万次的调用节省 20 秒。太棒了！现在思考一下：在那百万次的函数调用中，有多少秒花在周边应用程序等待数据连结上？花在磁盘输入/输出上？花在等待用户输入上？不要在过度优化算法上花时间，从而忽略了其它地方可以做的明显改进。开发你编写运行良好的 Python 代码的直觉，如果发现明显的失误则修正它们，并不对其它部分过分操作。

lastwinner · 发表于 2006-7-20 01:52

附录 A. 进一步阅读
第 1 章安装 Python

第 2 章第一个 Python 程序

2.3. 文档化函数
- PEP 257 定义了 doc string 规范。
- Python Style Guide 讨论了如何编写一个好的 doc string。
- Python Tutorial 讨论了在 doc string 中如何使用空白。
2.4.2. 何谓对象？
- Python Reference Manual 确切解释了在 Python 中万物皆对象的含义, 因为有些书生气十足的人, 喜欢花时间讨论这类的问题。
- eff-bot 总结了 Python 对象.
2.5. 代码缩进
- Python Reference Manual 讨论了交叉缩进问题, 并且演示了各种各样的缩进错误。
- Python Style Guide 讨论了良好的缩进风格。
2.6. 测试模块
- Python Reference Manual 讨论了导入模块的底层细节。

lastwinner · 发表于 2006-7-20 01:53

第 3 章内置数据类型

3.1.3. 从 dictionary 中删除元素
- How to Think Like a Computer Scientist 讲授了 dictionary 和如何使用 dictionary 模拟稀疏矩阵。
- Python Knowledge Base 有许多使用 dictionary 的示例代码。
- Python Cookbook 讨论了如何通过 key 对 dictionary 的值进行排序。
- Python Library Reference 总结了所有 dictionary 方法。
3.2.5. 使用 list 的运算符
- How to Think Like a Computer Scientist 讲述了list, 并且重点讲述了如何把 list 作为函数参数传递。
- Python Tutorial 展示了如何把 list 作为堆栈和队列使用。
- Python Knowledge Base 回答了有关 list 的常见问题并且有许多使用 list 的示例代码。
- Python Library Reference 总结了所有的 list 方法。
3.3. Tuple 介绍
- How to Think Like a Computer Scientist 讲解了 tuple 并且展示了如何连接 tuple。
- Python Knowledge Base 展示了如何对一个 tuple 排序。
- Python Tutorial 展示了如何定义一个只包含一个元素的 tuple。
3.4.2. 一次赋多值
- Python Reference Manual 展示了什么时候可以忽略续行符和什么时候您需要使用续行符的例子。
- How to Think Like a Computer Scientist 演示了如何使用多变量赋值来交换两个变量的值。
3.5. 格式化字符串
- Python Library Reference 总结了所有字符串格式化所使用的格式符。
- Effective AWK Programming 讨论了所有的格式符和高级字符串格式化技术, 如指定宽度, 精度和0填充。
3.6. 映射 list
- Python Tutorial 讨论了另一种方法来映射 list 使用内置的 map 函数。
- Python Tutorial 展示了如何嵌套 list 的 list 解析。
3.7. 连接 list 与分割字符串
- Python Knowledge Base 回答了关于字符串的常见问题 , 并且有许多使用字符串的例子代码。
- Python Library Reference 总结了所有字符串方法。
- Python Library Reference 提供了 string 模块的文档。
- The Whole Python FAQ 解释了为什么 join 是字符串方法而不是 list 方法。

lastwinner · 发表于 2006-7-20 01:54

第 4 章自省的威力

4.2. 使用可选参数和命名参数
- Python Tutorial 确切地讨论了何时、如何进行缺省参数赋值，这都和缺省值是一个 list 还是一个具有副作用的表达式有关。
4.3.3. 内置函数
- Python Library Reference 对所有的内置函数和所有的内置异常都进行了文档化。
4.5. 过滤列表
- Python Tutorial 讨论了使用内置过滤器函数过滤列表的另一种方式。
4.6.1. 使用 and-or 技巧
- Python Cookbook 讨论了其它的 and-or 技巧。
4.7.1. 真实世界中的 lambda 函数
- Python Knowledge Base 讨论了使用 lambda 来间接调用函数。
- Python Tutorial 演示了如何从一个 lambda 函数内部访问外部变量。（PEP 227 解释了在 Python 的未来版本中将如何变化。）
- The Whole Python FAQ 有关于令人模糊的使用 lambda 单行语句的例子。

lastwinner · 发表于 2006-7-20 01:54

第 5 章对象和面向对象

5.2. 使用 from module import 导入模块
- eff-bot 有更多关于 import module vs. from module import 的论述。
- Python Tutorial 讨论了高级的导入技术，包括 from module import *。
5.3.2. 了解何时去使用 self 和 __init__
- Learning to Program 有优雅的类的介绍。
- How to Think Like a Computer Scientist 展示了如何使用类来实现复合数据类型模型。
- Python Tutorial 深入考虑了类、名字空间和继承。
- Python Knowledge Base 回答了关于类的常见问题。
5.4.1. 垃圾回收
- Python Library Reference 总结了象 __class__ 之类的内置属性。
- Python Library Reference 提供了 gc 模块的文档，此模块给予你对 Python 的垃圾回收的底层控制权。
5.5. 探索 UserDict: 一个封装类
- Python Library Reference 提供了 UserDict 模块和 copy 模块的文档。
5.7. 高级专用类方法
- Python Reference Manual 提供了所有专用类方法的文档。
5.9. 私有函数
- Python Tutorial 讨论了私有变量的内部工作方式。

lastwinner · 发表于 2006-7-20 01:54

第 6 章异常和文件处理

6.1.1. 为其他用途使用异常
- Python Tutorial 讨论了异常，包括定义和引发你自已的异常, 以及一次处理多个异常。
- Python Library Reference 总结了所有内置异常。
- Python Library Reference 提供了 getpass 模块的文档。
- Python Library Reference 提供了 traceback 模块的文档, 这个模块在异常引发之后，提供了底层的对异常属性的处理。
- Python Reference Manual 讨论了 try...except 块的内部工作方式。
6.2.4. 写入文件
- Python Tutorial 讨论了文件的读取和写入，包括如何将一个文件一次一行地读到 list 中。
- eff-bot 讨论了各种各样读取文件方法的效率和性能。
- Python Knowledge Base 回答了关于文件的常见问题。
- Python Library Reference 总结了所有文件对象模块。
6.4. 使用 sys.modules
- Python Tutorial 讨论了缺省参数到底在什么时候和是如何计算的。
- Python Library Reference 提供了 sys 模块的文档。
6.5. 与 Directory 共事
- Python Knowledge Base 回答了关于 os 模块的问题。
- Python Library Reference 提供了 os 模块和 os.path 模块的文档。

[参考文档] Python 研究(Dive Into Python)