一：分析當當網圖書相關網頁

1、分析網頁發現部分接口帶有加密參數

2、圖書分類、圖書詳情接口有規律

總結：為快速完成相應數據圖書數據采集，故先采用python中selenium模塊進行

二：數據采集方式

1、先獲取分類接口存到數據庫中

2、根據分類接口獲取圖書詳情接口存儲到數據庫中

3、根據圖書詳情接口獲取圖書信息

三：數據存儲表設計

1、圖書類別表

? ? ? ? ?1）存儲分類接口信息

? ? ? ? ?2）is_s字段判斷此分類下的圖書信息是否被抓取過

2、圖書詳情接口表

? ? 1）存儲圖書詳情接口信息

? ? 2）is_up判斷接口信息否更新

三：代碼實現

1、提取分類url

2、提取詳情url

3、提取詳情數據

?

總結

以上是生活随笔為你收集整理的当当网图书信息数据抓取V1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。