網頁的編碼方式是簡體中文gb2312 (查看網頁源碼，可以看到)，而python內部的編碼方式為unicode，之前的代碼是這樣的：

contentAll = urllib.urlopen(urlLink).read()

soup = BeautifulSoup.BeautifulSoup(contentAll)? #生成BeautifulSoup對象

經過url定位得到html的document對象之后，此時的編碼方式為網頁文本的編碼方式gb2312，

因此在將contentAll送進去生成BeautifulSoup對象之前必須對其進行解碼(decode)為unicode，使用的code為gb2312，修改后的代碼如下所示：

contentAll = urllib.urlopen(urlLink).read()

soup = BeautifulSoup.BeautifulSoup(contentAll.decode('gb2312','ignore'))? #生成BeautifulSoup對象

解碼的時候加上ignore參數是因為解碼過程中有一部分貌似不能正常解碼，加上該參數之后能跳過該部分。

1 源文件編碼

在文件頭部使用coding聲明。告訴python解釋器該代碼文件所使用的字符集。

#/usr/bin/python

#coding: utf8

2 內部編碼

代碼文件中的字符串，經過decode以后，被轉換為統一的unicode格式的內部數據，類似于u''*''。unicode數據可以使用encode函數，再自由轉換為其他格式的數據，相當于一個統一的平臺。

直接輸入unicode數據

>>> u''你好''

u''/u4f60/u597d''

將unicode數據轉換為gb2312格式

>>> u''你好''.encode(''gb2312'')

''/xc4/xe3/xba/xc3''

將輸入的gb2312格式的數據解碼為unicode

>>> ''你好''.decode(''gb2312'')

u''/u4f60/u597d''

輸入數據的格式取決于所用shell終端的編碼設置，本例中為zh_CN

[root@chenzheng python]# echo $LANG

zh_CN

解碼同時轉換為utf8

>>> ''你好''.decode(''gb2312'').encode(''utf8'')

''/xe4/xbd/xa0/xe5/xa5/xbd''

3 外部輸入的編碼

其實這個和在python交互shell中輸入的字符串，所遇到的情況基本一樣。但程序中常常用到從網絡，文件讀取的數據，故此單獨列出，需要特別注意其編碼格式是否于系統要求相符。

由于xml.etree.EelementTree.parse()不識別gb2312編碼，在解析的時候，需要將其轉換utf8格式才可以，可以使用下面的函數

def read_page(url):

"""讀取gb2312編碼的xml文件，轉換為utf8格式"""

import urllib

udata = urllib.urlopen(url).read().decode(''gb2312'')

u8data = udata.encode(''utf8'')

return u8data.replace(''gb2312'', ''utf-8'') #簡單替換xml文件第一行的encoding屬性值

另外，可以使用一個小函數來判斷數據的編碼格式：

def encoding(s): ??? cl = [''utf8'', ''gb2312''] ??? for a in cl: ??????? try: ??????????? s.decode(a) ??????????? return a ??????? except UnicodeEncodeError: ??????????? pass ??? return ''unknown''

總結

以上是生活随笔為你收集整理的python编码程序_python 编码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。