Python chardet 字符编码判断
生活随笔
收集整理的這篇文章主要介紹了
Python chardet 字符编码判断
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
http://pnig0s1992.blog.51cto.com/393390/496208
使 用 chardet 可以很方便的實(shí)現(xiàn)字符串/文件的編碼檢測。尤其是中文網(wǎng)頁,有的頁面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些頁面,知道網(wǎng)頁編碼 很重要的,雖然HTML頁面有charset標(biāo)簽,但是有些時(shí)候是不對的。那么chardet就能幫我們大忙了。
chardet實(shí)例
import urllib rawdata = urllib.urlopen('http://www.google.cn/').read() import chardet chardet.detect(rawdata) {'confidence': 0.98999999999999999, 'encoding': 'GB2312'}chardet可以直接用detect函數(shù)來檢測所給字符的編碼。函數(shù)返回值為字典,有2個(gè)元數(shù),一個(gè)是檢測的可信度,另外一個(gè)就是檢測到的編碼。
chardet 安裝
下載chardet后,解壓chardet壓縮包,直接將chardet文件夾放在應(yīng)用程序目錄下,就可以使用import chardet開始使用chardet了。
或者使用setup.py安裝文件,將chardet拷貝到Python系統(tǒng)目錄下,這樣你所有的python程序只要用import chardet就可以了。
python setup.py install轉(zhuǎn)載于:https://www.cnblogs.com/lvxiuquan/archive/2012/07/27/2611438.html
總結(jié)
以上是生活随笔為你收集整理的Python chardet 字符编码判断的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Phpcms之核心目录phpcms
- 下一篇: websocket python爬虫_p