json2mysql

這次更新了將一個json文件中的數(shù)據(jù)導入到mysql的腳本。 是用nodejs寫的。

對應的文件是tomysql.js 有興趣的同志可以研究下。

pythonCollection(python代碼集合)

本項目目前僅在python2.7下實驗，其他版本暫不維護，請靈活使用

文件下載器

pdf合并工具

極客專欄文章下載

掘金小冊下載

新浪微博爬蟲

文件下載器(downloader.py)

從數(shù)據(jù)庫或者文件中讀取文件url地址，并且下載到本地

依賴庫：

requests

progressbar

MySQLdb(如果不從數(shù)據(jù)庫讀取數(shù)據(jù)則不需要)

pdf合并工具(pdfmerger.py)

合并pdf文件

代碼正在整理中..

極客專欄文章下載(geeksplider.py)

將你購買的極客專欄，下載為json文件

2019-5-30 更新

近期geek網(wǎng)站加了一個限流的限制，以及請求時間戳的一些驗證。

對應的python文件就沒更新。加完代理池什么的應該就可以用了。

這次采用了一個新的套路：在瀏覽器控制臺里執(zhí)行js腳本，發(fā)送請求，再將數(shù)據(jù)存為json文件進行下載。

對應的js文件是geek.js 有興趣的同學可以研究一下哈，個人感覺還是挺有意思的。

--end

依賴庫：

requests

文件格式為：

{

"article_title": "",

"audio_time": "",

"ctime": 1521993600,

"audio_size": 4375851,

"pid": 76,

"audio_url": "",

"mdhtml": "",

"audio_download_url": "",

"id": 4969,

"article_cover": ""

}

可以根據(jù)自己的需求靈活改動代碼進行使用.

掘金小冊下載(juejinxiaoce.py)

將你購買的掘金小冊，下載為json格式

依賴庫：

requests

文件格式為：

{

"article_title": "",

"pid": "",

"mdhtml": "",

"mdtext": "",

"id": "",

"createdAt": ""

}

新浪微博爬蟲(weibosplider.py)

爬取某個人的新浪微博數(shù)據(jù)

依賴庫：

requests

MySQLdb(如果不保存到數(shù)據(jù)庫則不需要)

logging

本腳本將數(shù)據(jù)直接存儲到數(shù)據(jù)庫，你也可以修改部分邏輯，存儲到其他地方。

靈活使用，代碼僅供參考

issue

使用中遇到問題，可以在該項目下提issue issues入口

PR

如果你也有好用的小工具要分享，請new pull request

總結

以上是生活随笔為你收集整理的python文件下载器代码_GitHub - applechi/pythonCollection: python代码集合（文件下载器、pdf合并、极客时间专栏下载、掘金小册下载、新浪微博爬虫等）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。