Python字符串的encode與decode研究心得亂碼問題解決方法

為什么Python使用過程中會出現各式各樣的亂碼問題，明明是中文字符卻顯示成“\xe4\xb8\xad\xe6\x96\x87”的形式？

為什么會報錯“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就來研究一下這個問題。

字符串在Python內部的表示是unicode編碼，因此，在做編碼轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。
decode的作用是將其他編碼的字符串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉換成unicode編碼。
encode的作用是將unicode編碼轉換成其他編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉換成gb2312編碼。
因此，轉碼的時候一定要先搞明白，字符串str是什么編碼，然后decode成unicode，然后再encode成其他編碼
代碼中字符串的默認編碼與代碼文件本身的編碼一致。

如：s='中文'
如果是在utf8的文件中，該字符串就是utf8編碼，如果是在gb2312的文件中，則其編碼為gb2312。這種情況下，要進行編碼轉換，都需要先用decode方法將其轉換成unicode編碼，再使用encode方法將其轉換成其他編碼。通常，在沒有指定特定的編碼方式時，都是使用的系統默認編碼創建的代碼文件。
如果字符串是這樣定義：s=u'中文'
則該字符串的編碼就被指定為unicode了，即python的內部編碼，而與代碼文件本身的編碼無關。因此，對于這種情況做編碼轉換，只需要直接使用encode方法將其轉換成指定編碼即可。
如果一個字符串已經是unicode了，再進行解碼則將出錯，因此通常要對其編碼方式是否為unicode進行判斷：
isinstance(s, unicode) #用來判斷是否為unicode
用非unicode編碼形式的str來encode會報錯
如何獲得系統的默認編碼？

#!/usr/bin/env python #coding=utf-8 import sys print sys.getdefaultencoding()

該段程序在英文WindowsXP上輸出為：ascii?

在某些IDE中，字符串的輸出總是出現亂碼，甚至錯誤，其實是由于IDE的結果輸出控制臺自身不能顯示字符串的編碼，而不是程序本身的問題。
如在UliPad中運行如下代碼：

s=u"中文" print s

會提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是因為UliPad在英文WindowsXP上的控制臺信息輸出窗口是按照ascii編碼輸出的（英文系統的默認編碼是ascii），而上面代碼中的字符串是Unicode編碼的，所以輸出時產生了錯誤。

將最后一句改為：

print s.encode('gb2312')

則能正確輸出“中文”兩個字。

若最后一句改為：

print s.encode('utf8')

則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制臺信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結果。

unicode(str,'gb2312')與str.decode('gb2312')是一樣的，都是將gb2312編碼的str轉為unicode編碼
使用str.__class__可以查看str的編碼形式
原理說了半天，最后來個包治百病的吧：

#!/usr/bin/env python #coding=utf-8
s="中文" if isinstance(s, unicode): #s=u"中文" print s.encode('gb2312') else: #s="中文" print s.decode('utf-8').encode('gb2312')

?

posted on 2015-07-03 15:27 小雞喝餅 閱讀(...) 評論(...) 編輯 收藏

轉載于:https://www.cnblogs.com/xuxianren/p/4618778.html

總結

以上是生活随笔為你收集整理的Python字符串的encode与decode研究心得乱码问题解决方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。