Python Unicode和编解码详解

jieforest

为了正确的切分UTF-8，你最好是解码字节流创建一个Unicode对象。然后就能安全的操作和计数了。

1. >>> my_unicode = my_utf8.decode("utf-8")
   
2. >>> print repr(my_unicode)
   
3. u'abc\u2013'
   
4. >>> print len(my_unicode)
   
5. 4
   
6. >>> print my_unicode[-1]
   
7. –
   

复制代码

jieforest

当Python自动地编码/解码

在一些情况下，当Python自动地使用ASCII进行编码/解码的时候会抛出错误。

第一个案例是当它试着将Unicode和字节串合并在一起的时候。

1. >>> u"" + u"\u2019".encode("utf-8")
   
2. Traceback (most recent call last):
   
3.   File "<stdin>", line 1, in <module>
   
4. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 0:   ordinal not in range(128)
   

复制代码

在合并列表的时候会发生同样的情况。Python在列表里有string和Unicode对象的时候会自动地将字节串解码为Unicode。

1. >>> ",".join([u"This string\u2019s unicode", u"This string\u2019s utf-8".encode("utf-8")])
   
2. Traceback (most recent call last):
   
3.   File "<stdin>", line 1, in <module>
   
4. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 11:  ordinal not in range(128)
   

复制代码

jieforest

或者当试着格式化一个字节串的时候：

1. >>> "%s\n%s" % (u"This string\u2019s unicode", u"This string\u2019s  utf-8".encode("utf-8"),)
   
2. Traceback (most recent call last):
   
3.   File "<stdin>", line 1, in <module>
   
4. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 11: ordinal not in range(128)

复制代码

基本上当你把Unicode和字节串混在一起用的时候，就会导致出错。

jieforest

在这个例子里面，你创建一个utf-8文件，然后往里面添加一些Unicode对象的文本。就会报UnicodeDecodeError错误。

1. >>> buffer = []
   
2. >>> fh = open("utf-8-sample.txt")
   
3. >>> buffer.append(fh.read())
   
4. >>> fh.close()
   
5. >>> buffer.append(u"This string\u2019s unicode")
   
6. >>> print repr(buffer)
   
7. ['This file\xe2\x80\x99s got utf-8 in it\n', u'This string\u2019s unicode']
   
8. >>> print "\n".join(buffer)
   
9. Traceback (most recent call last):
   
10.   File "<stdin>", line 1, in <module>
    
11. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 9: ordinal not in range(128)

复制代码

jieforest

你可以使用codecs模块把文件作为Unicode加载来解决这个问题。

1. >>> import codecs
   
2. >>> buffer = []
   
3. >>> fh = open("utf-8-sample.txt", "r", "utf-8")
   
4. >>> buffer.append(fh.read())
   
5. >>> fh.close()
   
6. >>> print repr(buffer)
   
7. [u'This file\u2019s got utf-8 in it\n', u'This string\u2019s unicode']
   
8. >>> buffer.append(u"This string\u2019s unicode")
   
9. >>> print "\n".join(buffer)
   
10. This file’s got utf-8 in it
    
11. 
    
12. This string’s unicode
    

复制代码

正如你看到的，由codecs.open 创建的流在当数据被读取的时候自动地将比特串转化为Unicode。

jieforest

最佳实践

1．最先解码，最后编码

2．默认使用utf-8编码

3．使用codecs和Unicode对象来简化处理

最先解码意味着无论何时有字节流输入，需要尽早将输入解码为Unicode。这会防止出现len( )和切分utf-8字节流发生问题。

最后编码意味着只有你打算将文本输出到某个地方时，才把它编码为字节流。这个输出可能是一个文件，一个数据库，一个socket等等。只有在处理完成之后才编码unicode对象。最后编码也意味着，不要让Python为你编码Unicode对象。Python将会使用ASCII编码，你的程序会崩溃。

默认使用UTF-8编码意味着：因为UTF-8可以处理任何Unicode字符，所以你最好用它来替代windows-1252和ASCII。

codecs模块能够让我们在处理诸如文件或socket这样的流的时候能少踩一些坑。如果没有codecs提供的这个工具，你就必须将文件内容读取为字节流，然后将这个字节流解码为Unicode对象。

codecs模块能够让你快速的将字节流转化为Unicode对象，省去很多麻烦。

jieforest

解释UTF-8

最后的部分是让你能对UTF-8有一个入门的了解，如果你是个超级极客可以无视这一段。

利用UTF-8，任何在127和255之间的字节是特别的。这些字节告诉系统这些字节是多字节序列的一部分。

1. Our UTF-8 encoded string looks like this:
   
2. [ 97 ] [ 98 ] [ 99 ] [ 226 ] [ 128 ] [ 147 ] = "abc–"

复制代码

最后3字节是一个UTF-8多字节序列。如果你把这三个字节里的第一个转化为2进制可以看到以下的结果：

1. 11100010

复制代码

前3比特告诉系统它开始了一个3字节序列226，128，147。

那么完整的字节序列。

1. 11100010 10000000 10010011

复制代码

jieforest

然后你对三字节序列运用下面的掩码。（详见这里）

1. 1110xxxx 10xxxxxx 10xxxxxx
   
2. XXXX0010 XX000000 XX010011 Remove the X's
   
3. 0010       000000   010011 Collapse the numbers
   
4. 00100000 00010011          Get Unicode number 0x2013, 8211 The "–"

复制代码

这里仅仅是关于UTF-8的一些入门的基本知识，如果想知道更多的细节，可以去看UTF-8的维基页面。

jieforest

over.