python网络爬虫与信息提取 学习笔记day3
生活随笔
收集整理的這篇文章主要介紹了
python网络爬虫与信息提取 学习笔记day3
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
Day3:
只需兩行代碼解析html或xml信息??? 具體代碼實(shí)現(xiàn):day3_1??? 注意BeautifulSoup的B和S需要大寫(xiě),因?yàn)閜ython大小寫(xiě)敏感
?
import requests r= requests.get("http://python123.io/ws/demo.html") r.text demo = r.text from bs4 import BeautifulSoup soup = BeautifulSoup(demo , "html.parser") print(soup.prettify())
BeautifulSoup庫(kù)的基本元素:詳參html的基本信息
?
?
from bs4 import BeautifulSoup??????? 語(yǔ)句含義:從bs4庫(kù)中引入一個(gè)BeautifulSoup的類型
下行遍歷,上行遍歷和平行遍歷:
?
?
?
?爬取中國(guó)大學(xué)排名
import requests from bs4 import BeautifulSoup import bs4def getHTMLText(url):try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(ulist, html):soup = BeautifulSoup(html, "html.parser")for tr in soup.find('tbody').children:if isinstance(tr, bs4.element.Tag):tds = tr('td')ulist.append([tds[0].string, tds[1].string, tds[3].string])def printUnivList(ulist, num):print("{:^10}\t{:^6}\t{:^10}".format("排名","學(xué)校名稱","總分"))for i in range(num):u=ulist[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))def main():uinfo = []url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html = getHTMLText(url)fillUnivList(uinfo, html)printUnivList(uinfo, 20) # 20 univs main()
轉(zhuǎn)載于:https://www.cnblogs.com/yezhaodan/p/7449785.html
總結(jié)
以上是生活随笔為你收集整理的python网络爬虫与信息提取 学习笔记day3的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: JAVA Swing 组件演示***
- 下一篇: python学习(九) 网络编程学习--