0.中國大學(xué)排名定向爬蟲

http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

可行性：
http://www.zuihaodaxue.cn/robots.txt
數(shù)據(jù)在Html里




出錯的原因+函數(shù)名寫錯了

import requests from bs4 import BeautifulSoup import bs4 # if isinstance(tr,bs4.element.Tag):#不是標(biāo)簽的都不執(zhí)行： def getHTMLText(url):#將url信息爬取下來try:r=requests.get(url,timeout=300)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(ulist,html):soup = BeautifulSoup(html,'html.parser')for tr in soup.find('tbody').children:if isinstance(tr,bs4.element.Tag):#不是標(biāo)簽的都不執(zhí)行：tds = tr('td')#相當(dāng)于tr.find_all('td')ulist.append([tds[0].string,tds[1].string,tds[2].string],tds[3].string)#tds[0]是這樣的<td><div align="left">清華大學(xué)</div></td> tds[1]是這樣的<td>北京市</td>#tds[2]是這樣的<td>95.9</td>#插入列表中def printUnivList(ulist,num):tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"#print("{:^10}\t{:^6}\t{:^10}".format("排名","學(xué)校","總分"))for i in range(num):u=ulist[i]#print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))print(tplt.format(u[0],u[1],u[2],chr(12288))print("suc"+str(num))def main():uinfo = []#大學(xué)信息放在列表中url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html=getHTMLText(url)fillUnivList(uinfo,html)printUnivList(uinfo, 20) # 第二個參數(shù)為顯示信息個數(shù)# def main(): # uinfo=[] # url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html' # html=getHTMLText(url) # fillUnivList(uinfo, html) # printUnivList(uinfo, 20) # 20 表示取前20所大學(xué)main()

summary

總結(jié)

以上是生活随笔為你收集整理的丑憨批的爬虫笔记6实例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。