Python小说爬虫
生活随笔
收集整理的這篇文章主要介紹了
Python小说爬虫
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
今天做的練習是在網站上爬蟲某一部小說,并將其存入到文檔中~~
首先,按照上一次爬蟲的步驟,獲取到該小說目錄頁的url
url=“https://www.kanunu8.com/book2/10881/”
注:若print出該頁內容為亂碼時,因考慮到編碼方式的轉換;
在這次爬蟲過程中,我們需要將編碼進行轉換,將其轉換為gbk形式,所使用的語句如下:
txt=requests.get(url).content.decode(“gbk”)
具體實現代碼如下:
過程中遇到過的錯誤:
expected string or bytes-like object 這是由于數據類型不匹配造成的
findall獲取的為一個列表,而sub需要對字符串進行操作,所以此處需要現將列表中的字符串取出,再進行替換
接下來就是成果圖了:
嗯嗯~~就是這樣啦
總結
以上是生活随笔為你收集整理的Python小说爬虫的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python爬虫西安七天天气预报
- 下一篇: Python类的封装