import requests from bs4 import BeautifulSoup import os # 本地寫入 headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } def getPage(url):re=requests.get(url,headers=headers)re.raise_for_status()re.encoding=re.apparent_encodingsoup=BeautifulSoup(re.text,'lxml')return soup if __name__ == '__main__':url='https://www.bqkan.com/38_38836/'soup=getPage(url)book_name=soup.select('.info h2')[0].textbook_author=soup.select('.small span')[0].textlast_time=soup.select('.small .last')[0].textlast_chapter=soup.select('.small .last a')[0].textprint("書名:",book_name,book_author,last_time,"最新章節(jié):",last_chapter)# 以書名創(chuàng)建文件夾k=os.path.exists(book_name) # k為bool類型if k==False:# 沒有才創(chuàng)建os.makedirs(book_name)# 獲取所有單章鏈接links=soup.select('.listmain dd a')# 前12個(gè)為最新章節(jié)，其余為正式章節(jié)，包含最新章節(jié)for item in links[12:]:href='https://www.bqkan.com'+item['href']print(href,item.string)soup=getPage(href)content=soup.select('.showtxt')[0].textcontent=content.replace('app2();read2();　　','')content=content.replace('　　','\n\n')print(">>>正在寫入文件")with open("%s/%s.txt"%(book_name,item.string),'w',encoding='utf-8') as file:file.write(content)print(">>>全部章節(jié)爬取完畢！")

總結(jié)

以上是生活随笔為你收集整理的笔趣看小说全部章节爬取实战的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。