新工具上线!只需2步助你轻松学爬虫!
作者簡介:張老師,學(xué)習(xí)計算機(jī)十余年,在信息安全、生物信息學(xué)、會計、平面設(shè)計、編輯出版等多個領(lǐng)域也均有涉獵,熱愛鉆研、熱愛考證、熱愛生活。
你還在為Python爬蟲入門發(fā)愁么?
你還在構(gòu)建requests請求發(fā)愁么?
它來了!它就是curl2pyreqs庫。
curl2pyreqs是一款基于?Python?實現(xiàn)的?curl?轉(zhuǎn)換工具,可以直接將 curl 請求轉(zhuǎn)換為使用 python-requests 的 Python 腳本。
Github:https://github.com/knightz1224/curl2pyreqs/
只需2步自動生成requests文件:
1. 復(fù)制
2. 運行
接下來讓我們體驗一下~
一、系統(tǒng)要求
版本:Python 3.8+
依賴:pyperclip >= 1.8.0
Linux下需安裝X剪貼板組件,如xclip或xsel。
二、安裝方法(推薦使用清華源安裝)
Windows 下,在命令行輸入:
>?pip?install?curl2pyreqsMac OS 或 Linux 下,在終端輸入:
$?pip3?install?curl2pyreqs三、使用方法
1. 復(fù)制
在Chrome或Firefox瀏覽器中,按F12,打開開發(fā)者模式,復(fù)制curl請求;
2. 運行
運行curl2pyreqs,即可生成對應(yīng)的requests代碼,并且直接復(fù)制到了剪貼板中。
最后,粘貼到Python文件中即可修改代碼。
四、Termux補(bǔ)丁
Termux 是一款支持 Linux 環(huán)境的 Android 終端模擬器APP。你無需對手機(jī)進(jìn)行root或額外設(shè)置即可使用。Termux的環(huán)境配置請參見相關(guān)教程:《手把手教你在手機(jī)或平板上配置Python環(huán)境!》
由于pyperclip暫時不支持Termux的復(fù)制粘貼,所以張老師為大家做了一個補(bǔ)丁,這個補(bǔ)丁為pyperclip添加了Termux支持。具體安裝方法如下:
安裝Termux:API,下載地址:
https://f-droid.org/repo/com.termux.api_47.apk安裝termux-api依賴包
下載補(bǔ)丁并安裝:
git?clone?https://github.com/knightz1224/termux_pyperclip_patch cd?termux_pyperclip_patch python?setup.py安裝完成后,我們就可以使用curl2pyreqs了
五、其他使用方法
如無法調(diào)用剪貼板,可以通過將curl請求存入文本文件進(jìn)行轉(zhuǎn)換:
以UTF-8編碼格式存入文本,如example.curl;
運行curl2pyreqs -F example.curl,即可生成對應(yīng)的example.py文件。
最后,查看example.py文件,里面已經(jīng)是完整的代碼了。
六、結(jié)語
其他使用方法請參見項目Github:
https://github.com/knightz1224/curl2pyreqs/技術(shù)群邀請函
△掃碼添加小助手姐姐
備注:姓名/昵稱-職業(yè)-研究方向
學(xué)生可加入「小詹學(xué)Python@學(xué)生專屬」社群
總結(jié)
以上是生活随笔為你收集整理的新工具上线!只需2步助你轻松学爬虫!的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 命犯编程!因为名字特殊,她被苹果封了 6
- 下一篇: 你能体会那种写 Python 时不用 i