分析并構造請求網址

爬取酷狗音樂TOP500 的‘音樂名’，‘歌手’，‘歌名’，‘播放時間’，‘網址’這幾個數據網址如下：https://www.kugou.com/yy/rank/home/1-8888.html?from=rank，瀏覽器打開網址分析，第一頁只顯示了22首歌曲：

我們可以看到，其中有一個 1-8888 這個參數，打開上述網址后我們只能看到前 22 首歌，想繼續查看后面的歌曲就得翻頁，就像“淘寶”那樣查看下一頁商品需要翻頁，這里也是一樣的道理，把 1-8888 改成 2-8888 ，就會看到下一頁的 22 首歌，如下：

翻到第 200首音樂那一頁，可以看到頁碼如下有 10 頁，那么可以如下構造URL地址：

"""將所有URL構造成一個列表集合""" URLs=["https://www.kugou.com/yy/rank/home/{}-8888.html?from=rank".format(str(i)) for i in range(1,10)]

構造請求

try:res=requests.get(url)res.encoding=res.apparent_encoding # 轉換編碼，不然中文會顯示亂碼，也可以r.encoding = 'utf-8'if res.status_code== 200:html=res.textreturn htmlexcept:print("請求失敗")

使用 requests庫的 get方法，去訪問網頁，res其中里面有很多結果：狀態響應碼，網頁源碼，二進制等。調用請求結果 res中的 status_code查看請求狀態碼response.status_code == 200

返回響應結果的 html，代表返回網頁 html源碼

解析數據

soup=BeautifulSoup(html,"lxml")"""html 表示被解析的html格式的內容lxml 表示解析用的解析器"""

提取數據

分析網頁源代碼：

可以看到需要的一些信息如‘音樂名’，‘歌手’，‘歌名’，‘播放時間’，‘網址’等分別在如圖標注的地方，每個歌曲信息所在的標簽結構如下：所有歌曲信息都在<div>標簽下，每首歌曲都在各自的<ul>標簽，然后歌曲自身的‘音樂名’，‘歌手’，‘歌名’等信息都分別由一個<li>標簽包裹。

把每首歌曲的‘音樂名’，‘歌手’，‘歌名’，‘播放時間’，‘網址’的值都取出來，并且把每組數據都各自裝在一個列表中。

（1）使用select方法定位

"""（1）使用`select`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""try:nums=soup.select('.pc_temp_num' ) #定位排名titles=soup.select('.pc_temp_songname') #定位歌手-歌名times=soup.select('.pc_temp_time' ) #定位播放時間except:print("位置定位失敗")

select方法主要采用的是CSS定位，如果不熟悉的話，可以參考http://www.w3school.com.cn/cssref/css_selectors.asp了解。常用的select搜索：

.intro選擇 class="intro"的所有元素

#firstname	選擇id="firstname"的所有元素
div p	選擇<div>元素內部的所有 <p> 元素
div>p	選擇父元素為<div>元素的所有<p> 元素

這里因為排名class="pc_temp_num"唯一，所以直接定位到該標簽。歌手-可以通過class="pc_temp_songname"定位到<a>標簽，然后在獲取屬性值。

（2）使用find方法定位

"""（2）使用`find`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""try:div=soup.find("div",class_="pc_temp_songlist") #先定位 divlis=div.find("ul").children #獲取 ul標簽下面的 子標簽->lifor li in lis: #通過循環獲取每個 li 標簽if isinstance(li,bs4.element.Tag): #確保 li 對象的類型是bs4.element.Tag，也就是標簽對象。只有標簽對象才能使用find方法nums=li.select(".pc_temp_num")titles=[li.a.attrs]times=li.find(class_="pc_temp_time")except:print("位置定位失敗")

（3）使用find_all方法定位

"""（3）使用`find_all`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""try:nums=soup.find_all(class_="pc_temp_num")titles=soup.find_all(class_="pc_temp_songname")times=soup.find_all(class_="pc_temp_time")except:print("位置定位失敗")

獲得數據

"""打印信息 """for num,title,time in zip(nums,titles,times):data={"排名":num.get_text().replace('\n','').replace('\t','').replace('\r',''),"歌手-歌名":title.string,"播放時間":time.string.replace('\n','').replace('\t','').replace('\r',''),"網址":title.attrs["href"]}print(data)

用了zip 函數，意思是把對應的排名，歌名歌手，播放時間打包，可以這樣理解 zip 函數的結果是一個列表 [(排名，歌手歌名，播放時間)，(排名，歌手歌名，播放時間)]

每一次循環的 num,title,time，href 對應一次元組中的元素

get_text()

我們提取到的是這個數據所在的標簽信息，并不是實際數據，所以需要使用 get_text() 獲得實際數據

.replace('\n','').replace('\t','').replace('\r','')

去掉實際數據中多余的字符串；
最后把數據打包成字典打印。

最終代碼

from bs4 import BeautifulSoup import requests import bs4 def get_html(url):try:res=requests.get(url)res.encoding=res.apparent_encoding # 轉換編碼，不然中文會顯示亂碼，也可以r.encoding = 'utf-8'if res.status_code== 200:html=res.textreturn htmlexcept:print("請求失敗")def get_infos(html):soup=BeautifulSoup(html,"lxml")"""html 表示被解析的html格式的內容lxml 表示解析用的解析器""""""（1）使用`select`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""try:nums=soup.select('.pc_temp_num' ) #定位排名titles=soup.select('.pc_temp_songname') #定位歌手-歌名times=soup.select('.pc_temp_time' ) #定位播放時間except:print("位置定位失敗")# """（2）使用`find`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""# try:# div=soup.find("div",class_="pc_temp_songlist") #先定位 div# lis=div.find("ul").children #獲取 ul標簽下面的 子標簽->li# for li in lis: #通過循環獲取每個 li 標簽# if isinstance(li,bs4.element.Tag): #確保 li 對象的類型是bs4.element.Tag，也就是標簽對象。只有標簽對象才能使用find方法# nums=li.select(".pc_temp_num")# titles=[li.a.attrs]# times=li.find(class_="pc_temp_time")# for num,title,time in zip(nums,titles,times):# data={"排名":num.get_text().replace('\n','').replace('\t','').replace('\r',''),# "歌手-歌名":title["title"],# "播放時間":time.string.replace('\n','').replace('\t','').replace('\r',''),# "網址":title["href"]}# print(data)# except:# print("位置定位失敗")# """（3）使用`find_all`方法定位,提取數據 ，返回結果為列表，下面使用循環依次取出數據"""# try:# nums=soup.find_all(class_="pc_temp_num")# titles=soup.find_all(class_="pc_temp_songname")# times=soup.find_all(class_="pc_temp_time")# except:# print("位置定位失敗")##"""打印信息時，供select和find_all共同使用，find方法需寫在try里面，因為多了一個if判斷，層級下了一級"""for num,title,time in zip(nums,titles,times):data={"排名":num.get_text().replace('\n','').replace('\t','').replace('\r',''),"歌手-歌名":title["title"],"播放時間":time.string.replace('\n','').replace('\t','').replace('\r',''),"網址":title["href"]}print(data)def main():"""主接口"""urls=["https://www.kugou.com/yy/rank/home/{}-6666.html?from=rank".format(str(i)) for i in range(1,10)]for url in urls:get_html(url)html=get_html(url)get_infos(html)if __name__ == '__main__':main()

總結

以上是生活随笔為你收集整理的Python爬虫练习（一）：酷狗飙升榜前200_排行（使用select，find()，find_all()方法）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。