python2的编码问题整理

By | 2022年4月26日
目录
[隐藏]

最近在项目中发现了一个历史遗留而又埋的很深的关于编码的坑,涉及到中文编码的转换。在分析的过程中再次回顾了一下有关编码的知识。python版本为2.7。

1. 背景

在python中有两种字符串类型,分别是str和unicode

  • str
    默认使用ANSCII编码,ANSCII编码只能表示英文数字和一些特殊字符,可以使用其他编码方式。
  • unicode
    也是一种编码,称为统一码,包含了全世界所有的字符。所有的编码都能转换为unicode。

2. 应用

2.1 str与unicode相互转换:

str类型与unicode类型之间的转换通过两个方法,分别是decode()和encode(),使用非常简单,如下所示:

str.decode(encoding) ---> unicode  # encoding为str原来的编码类型
unicode.encode(encoding) ---> str  # encoding为待生成str的编码类型

2.2 str类型不同编码之间相互转换

有两种实现方式:

  1. 先转换成unicode再转换成目标str

    str.decode(src_encoding).encode(dst_encoding)
  2. 直接转换

    str.encode(dst_encoding)

    需要注意,这里有一个隐藏的调用,即先用默认编码对str进行解码。再转化为对应的编码。所以从理解层面上看,上面的代码等同于:

    str.decode(sys.getdefaultencoding()).encode(dst_encoding)

    这样看的话其实与2.2.1中的方法是一样的。

2.3 字符串编码的识别

2.3.1 识别字符串类型

在背景中已经交代了python中有两种字符串类型:str和unicode,识别的方法也非常简单:

str_type_string = "this is str."
unicode_type_string = u"this is unicode"

type(str_type_string)
# <type 'str'>
type(unicode_type_string)
# <type 'unicode'>

2.3.2 识别字符串编码类型

识别字符串编码需要用到chardet模块的detect方法。上文中也说了只有str类型的字符串会有不同的编码,所以detect方法中只能传入str类型的字符串作为参数。可能是版本问题,有的版本貌似也能传入unicode的字符串。

import chardet

str_type_string = "this is str."
chardet.detect(str_type_string)
# {'confidence': 1.0, 'encoding': 'ascii'}
# 默认str的编码为ascii

3. 场景

字符编码在程序运行过程中如果处理不好一不小心就会出问题,下面就总结一些经典的场景。

3.1 指定脚本的编码

脚本的内容需要被解释器读取,所以解释器需要知道脚本使用什么编码来写的。默认解释器也是使用ASCII编码来解码的,所以当脚本中使用了其他编码的文字,而没有指明编码类型的话,脚本执行就会报错,当然如果指定了错误的编码类型一样会执行错误。
示例:

country = "中国"
print country

执行结果如下:

# python test.py 
SyntaxError: Non-ASCII character '\xe4' in file test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

解决方法就是在脚本的在开头加上# -*- coding: utf-8 -*-,即指定脚本所使用的编码为utf-8。将上面的代码修改后:

# -*- coding: utf-8 -*-
country = "中国"
print country

执行正常:

# python test.py 
中国

3.1 编码或解码未指定对应的编码类型

解码需要指定原str的编码类型才能正确操作,否则执行报错,见下:

# -*- coding: utf-8 -*-
country = "中国"
u_conuntry = conuntry.decode()

执行结果:

# python test.py 
Traceback (most recent call last):
  File "test.py", line 3, in <module>
    u_conuntry = country.decode()
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

原因分析:
decode的时候,如果不指定编码,会使用默认的ASCII编码,由于原字符串是utf-8编码,使用ASCII解码就会报错。

3.2 编码或解码指定了错误的编码类型

解码时指定的编码与原字符串编码类型不一致,也会出错:

# -*- coding: utf-8 -*-
country = "中国"
u_conuntry = conuntry.decode('cp936')

执行结果:

# python test.py 
Traceback (most recent call last):
  File "test.py", line 3, in <module>
    u_conuntry = country.decode("cp936")
UnicodeDecodeError: 'gbk' codec can't decode bytes in position 2-3: illegal multibyte sequence

3.3 字符串自动编码解码

在进行字符串操作的时候,如果操作的字符串对象之间使用了不同的编码,python会进行自动的编码和解码。
一般而言,如果被操作的字符串对象组合中既有str又有unicode,python会自动将str解码为unicode。

3.3.1 字符串格式化

一个简单的字符串格式化的例子:

# -*- coding: utf-8 -*-
people = "LiLei"
country = "中国"
format_str = "%s was born in %s" % (people, country)
print format_str

运行没有任何问题:

# python test.py 
LiLei was born in 中国

但是如果我把people声明为一个unicode对象,问题就会发生,代码修改为:

# -*- coding: utf-8 -*-
people = u"LiLei"
country = "中国"
format_str = "%s was born in %s" % (people, country)
print format_str

执行的错误信息为:

# python test.py 
Traceback (most recent call last):
  File "test.py", line 4, in <module>
    format_str = "%s was born in %s" % (people, country)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

为什么改了之后就会报错呢?这是因为改过之后,people为unicode对像,country为str对象,当他们进行字符串格式化操作的时候,python会将str类型转换成unicode类型。而且转换用的编码就是用的sys.getdefaultencoding()显示的编码类型,默认都是ASCII。而country是用的utf-8编码,所以自然就会解码失败。

3.3.2 print打印

print 在打印unicode对象的时候会自动转码为str类型,但是此时用来转换的编码并不是系统默认编码sys.getdefaultencoding(),而是用的sys.stdout.encoding。sys.stdout.encoding的值优先使用python环境变量PYTHONIOENCODING的值,如果它为空则使用linux的环境变量LANG,如果LANG为空,最后才使用sys.getdefaultencoding()的值。
举个例子:

# -*- coding: utf-8 -*-
import sys

print sys.stdout.encoding
country = u"中国"
print country

按下面的方法执行:

# unset PYTHONIOENCODING
# export LANG=en_US.C
# python test.py 
ANSI_X3.4-1968
Traceback (most recent call last):
  File "test.py", line 3, in <module>
    print country
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

其中ANSI_X3.4-1968就是print自动编码用的编码类型,用这个编码是无法表示中文的,所以把“中国”两个字转换为这个编码时就发生了错误。
如果我们把优先级最高的PYTHONIOENCODING设置为能表示中文的编码,比如UTF-8,就能正常运行上面的代码了。

# export PYTHONIOENCODING='utf-8'
# export LANG=en_US.C
# python test.py 
utf-8
中国

运行OK。

Category: 未分类 标签:

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注