python 制作自己的新闻_原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手...
前言
爬蟲這麼火爆,那麼我們如何獲得一些比較不錯手機APP中的數據呢?今天就來教下大家使用
Wireshark進行手機抓包,當然方法是通用的,不論你是Fidder還是其他的抓包軟件都可以。
wireshark 是一款非常強大的開源免費的網絡封包分析軟件,使用它可以捕獲各種網絡封包,顯示封包的詳細信息。
wireshark 是一款電腦軟件,如何使用它來捕獲手機網絡數據呢?
wireshark 的抓包原理是使用 WinPCAP 作為接口,直接與網卡進行數據報文交換。我們只需要讓手機通過電腦網卡傳輸數據即可,當然其他軟件的話也是一樣
需要在同一個網絡下才可以!!如果你是蘋果手機可能需要安裝證書請在通用設置中確認。這里主要講解安卓的抓包過程。
1.我使用360wifi使手機和電腦網絡達到互動有無
360 免費 wifi 可以使用筆記本的無線網卡創建一個 wifi 熱點?,手機連接該 wifi 即可使用電腦網絡上網。
連接之后,打開我們的wireshark
開始抓包,馬上用手機盒子點擊資訊,讓它刷新新聞列表
這個時候就可以看到抓包工具有協議進行傳輸,有人可能會問360WIFI是什么鬼!因為本來是要設置IP地址進行抓包的,但是我用360wifi就相當于電腦手機公用一個IP這樣的話就避免了設置IP地址的麻煩
第一條數據內容是:
GET /apiNewsList.php?action=c HTTP/1.1\r\nHost: box.dwstatic.com\r\n
我們可以使用瀏覽器嘗試訪問這個 url,看看是不是我們需要的數據:
格式是 json 的,經過 usc2→ansi 轉碼后:
[{"type":"newsWithHeader","tag":"headlineNews","name":"頭條"},{"type":"news","tag":"newsVideo","name":"視頻"},{"type":"news","tag":"upgradenews","name":"賽事"},{"type":"album","tag":"beautifulWoman","name":"靚照"},{"type":"album","tag":"jiongTu","name":"囧圖"},{"type":"album","tag":"wallpaper","name":"壁紙"}]
發現這個是盒子新聞頂部導航欄的一些分類,并不是我們要找的新聞列表數據,那么繼續分析下個數據包:
GET /apiNewsList.php?action=l&newsTag=headlineNews&p=1 HTTP/1.1\r\nHost: box.dwstatic.com\r\n
嘗試訪問這個 url:
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
得到數據經過解析和格式化后:
{"totalRecord": "11225","totalPage": 449,"data": [{"id": "23727","title": "17 日測服:新增五款皮膚插畫 ","content": "9 月 17 日測服:新增五款全新皮膚插畫 ","weight": "64","time": "1442456005","readCount": "76977","ymz_id": null,"photo": "http://m1.dwstatic.com/mbox/article_img/shouji_ac75a4c4f67a7983455c6bdebd67a611.jpg","artId": "23727","commentSum": "111","commentUrl": "1509/306410856768&aid=23727&uniqid=b84ebe1a9e890dbe418dbb5b551ff291&gochannel=lol","hasVideo": 0,"destUrl": "http://box.dwstatic.com/unsupport.php?lolboxAction=toNewsDetail&newsId=23727","type": "news"}等后面的我就不列舉
沒錯了,正是我們所需要的數據。
http://box.dwstatic.com/apiNewsList.php?action=l&newsTag=headlineNews&p=1
這個就是LOL盒子中新聞列表的數據資源。
同理如果你想要抓什么軟件只需呀像我這樣一步步搜索檢索出URL就可以啦。
那麼會Python的同學只需要使用Python做一些數據清洗可以使用requests爬區鏈接并且坐下簡單處理就可以啦,則可以完美的把自己想要的資源進行獲取到了!當然不知道大家有沒有忘記之前我們說的企業網站解決方案在哪里我們提供了如何使用寶塔面板,這個時候我們就可以使用上了!
面板右側有一個叫做計劃和任務,這個可以自動執行程序腳本,我們把寫好的Python程序上傳到服務器上面,打開計劃任務可以設定他每天自動執行
這些信息都設置好點擊保存編輯,點擊執行進入日志,看一看是不是正常執行
當然這個時候你的郵箱可能會收到一個神秘的郵件就是你用Python整理后的文檔喲,每天定時發就是你自己私有的文檔助手!完美!
什么?你問我如何用Python給自己郵箱發送郵件!!
以前的文章
下篇原創告訴你!
記得點一個在看!!
總結
以上是生活随笔為你收集整理的python 制作自己的新闻_原创 | 使用wireshark+python邮件服务制作出自己的私人新闻助手...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 软件测试网上课程设计,软件测试课程设计报
- 下一篇: Python UDP协议,冒充飞Q发送消