日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python写网络爬虫的环境搭建(windows完整版)

發布時間:2023/12/20 python 30 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python写网络爬虫的环境搭建(windows完整版) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

? ?網上找了好多資料,都不全,通過資料的整理,包括自己的測試,終于把環境打好了,真是對于一個剛接觸爬蟲的人來說實屬不易,現在分享給大家,若有不夠詳細之處,希望各位網友能補充。

第一步,下載python

? 這里有一個巨坑,python2.x與python3.x變化實在是太大,博主開始用的python2.7,后來發現很多模塊版本太新,根本沒辦法使用,兼容性出了問題,索性把python2.7給卸了,然后下了python3.4,如果你習慣了用python2.x,就不要輕易升級,如果你是剛學python,建議還是安裝3.x版本。還有就是注意python是64位還是32位。



第二步,環境變量設置,由于會使用python命令,所以最好還是設一個

? ? ?桌面計算機—>右鍵“屬性”—>點擊“高級系統設置”—>高級屬性里點擊“環境變量”—>在系統變量里path中添加python安裝目錄。


第三步,下載一個合適的idl(代碼編輯器),python自帶的idle實在是太水了,對于一個項目來說,根本滿足不了需求,只能做簡單的測試。現在成熟的idl很多,博主使用的是Pycharm,覺得挺好用的,其他的不了解,你們可以嘗試裝機試試。





第四步,下載Beautiful Soup,

? ?Beautiful Soup是一個非常流行的python模塊,這個模塊可以解析網頁,并提供定位內容的便捷接口,對于Beautiful Soup的介紹,大家在網上都能查到,博主就不浪費時間了。對于python3.x必須安裝Beautiful Soup4,其他版本可能安裝不了。

下載后解壓到Python安裝目錄下


打開cmd編輯器,進入到beautifulsoup文件夾內

執行?

setup.py build

然后執行?

setup.py install?

這樣?Beautiful Soup模塊就順利的安裝到了python3.4里


第五步,下載lxml庫,lxmlPython語言里和XML以及HTML工作的功能最豐富和最容易使用的庫。這一步博主真是走了好多彎路,先是下載lxml的版本不匹配,再是pip版本太低,弄了好久終于解決了。

在資源庫里下載:http://www.lfd.uci.edu/~gohlke/pythonlibs/,這里lxml有好多版本:


cp27代表是python2.7,cp34代表python3.4,amd64是64位的系統,不加代表32位。大家一定要對號入座,版本下錯就慘了,就像博主我。。。


? ? ? ?下載后把它放進python的安裝目錄下,此操作與Beautiful Soup一樣,這樣主要是為了方便管理。在cmd命令里,先執行“python -m pip install wheel”,安裝wheel,成功后在python目錄下的Lib\site-packages,能查看到wheel文件夾,代表安裝成功。


? ? ? 然后安裝lxml,“python -m pip install 你的lxml的路徑(D:\workapps\python3.4.4\lxml-3.6.4-.....)”,如果提示你pip版本太低,則先更新pip(pip是一個安裝和管理 Python 包的工具),命令行輸入“python -m pip upgrade pip”,升級完成后,再次安裝lxml,就完成了。最后打開Pycharm,測試程序OK!!!


附上淘寶網頁抓取測試代碼:
















總結

以上是生活随笔為你收集整理的python写网络爬虫的环境搭建(windows完整版)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。