爬蟲的一些工具(二)

1. 常有的工具

(1). python (2).?pycharm (3).瀏覽器 i.chrome ii.火狐 (4).fiddler的使用

?

2 fiddler的使用

?(1).操作界面

?

　　

(2)界面含義 請求(Request)部分詳解

名稱	含義
Headers	顯示客戶端發送到服務器的 HTTP 請求的,header 顯示為一個分級視圖，包含了 Web 客戶端信息、Cookie、傳輸狀態等
Textview	顯示 POST 請求的 body 部分為文本
WebForms	顯示請求的 GET 參數 和 POST body 內容
HexView	用十六進制數據顯示請求
Auth	顯示響應 header 中的 Proxy-Authorization(代理身份驗證) 和 Authorization(授權) 信息
Raw	將整個請求顯示為純文本
JSON	顯示JSON格式文件
XML	如果請求的 body 是 XML格式，就是用分級的 XML 樹來顯示它

　　　　　

　　　　　響應(Response)部分詳解

名稱	含義
Transformer	顯示響應的編碼信息
Headers	用分級視圖顯示響應的 header
TextView	使用文本顯示相應的 body
ImageVies	如果請求是圖片資源，顯示響應的圖片
HexView	用十六進制數據顯示響應
WebView	響應在 Web 瀏覽器中的預覽效果
Auth	顯示響應 header 中的 Proxy-Authorization(代理身份驗證) 和 Authorization(授權) 信息
Caching	顯示此請求的緩存信息
Privacy	顯示此請求的私密 (P3P) 信息
Raw	將整個響應顯示為純文本
JSON	顯示JSON格式文件
XML	如果響應的 body 是 XML 格式，就是用分級的 XML 樹來顯示它

(3)設置 3.1- 啟動Fiddler，打開菜單欄中的Tools>Options，打開"Fiddler Options"對話框

　　　　3.2.-設置

• Capture HTTPS CONNECTs 捕捉HTTPS連接
• Decrypt HTTPS traffic 解密HTTPS通信
• Ignore server certificate errors 忽略服務器證書錯誤
• all processes 所有進程
• browsers onlye 僅瀏覽器
• nono- browsers only 僅非瀏覽器
• remote clients only 僅遠程鏈接

?

?

? ? ?.Trust Root Certificate(受信任的根證書) 配置Windows信任這個根證書解決安全警告

?

?

• Allow remote computers to connect 允許遠程連接
• Act as system proxy on startup 作為系統啟動代理
• resuse client connections 重用客戶端鏈接

?

(4)捕獲鏈接(抓包) 4.1安裝SwitchyOmega 代理管理 Chrome 瀏覽器插件 4.2設置代理?

?

?

?

?

posted on 2018-07-05 09:35?鳴謙貞吉 閱讀(...) 評論(...) 編輯 收藏

轉載于:https://www.cnblogs.com/mingqian/p/9266600.html

總結

以上是生活随笔為你收集整理的爬虫的一些工具(二)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。