python爬蟲教程-16-破解js加密實例（有道在線翻譯）

• 在爬蟲爬取網站的時候，經常遇到一些反爬蟲技術，比如：
  
  • 加cookie，身份驗證UserAgent
  • 圖形驗證，還有很難破解的滑動驗證
  • js簽名驗證，對傳輸數據進行加密處理
• 對于js加密
  
  • 經過加密傳輸的就是密文，但是加密函數或者過程一定是在瀏覽器完成，
    也就是一定會把js代碼暴露給使用者
  • 通過閱讀加密算法，就可以模擬出加密過程，從而達到破解
  • 怎樣判斷網站有沒有使用js加密，很簡單，例如有道在線翻譯
    
    • 1.打開【有道在線翻譯】網頁：http://fanyi.youdao.com/
    • 2.【右鍵檢查】，選中【Network】
    • 3.【輸入單詞】
    • 4.在請求中，找到關于翻譯內容的Form Data，可以看到有下面兩項說明js加密

“salt”: “1523100789519”,
“sign”: “b8a55a436686cd8973fa46514ccedbe”,

分析js

• 一定要按照下面的順序，不然的話會有很多無用的東西干擾
• 1.打開【有道在線翻譯】網頁：http://fanyi.youdao.com/
• 2.【右鍵檢查】，選中【Network】
• 3.【輸入單詞】，【抓取js代碼】
• 操作截圖：
  
  
• 我們得到的js代碼是一行代碼，是壓縮后的min代碼，我們需要進行格式轉換
• 4.打開在線代碼格式化網站：http://tool.oschina.net/codeformat/js
• 5.將拷貝的一行格式的js代碼，粘貼在表單中，點擊【格式化】
• 操作截圖：
  
• 然后將格式化后的js代碼，拷貝到一個可以搜索的代碼編碼器，備用
• 編寫第2個版本
• 案例v18文件：
• https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py18js2.py

# 破解js加密，版本2 ''' 通過在js文件中查找salt或者sign，可以找到 1.可以找到這個計算salt的公式 r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)) 2.sign：n.md5("fanyideskweb" + t + r + "ebSeFb%=XZ%T[KZ)c(sy!"); md5 一共需要四個參數，第一個和第四個都是固定值得字符串，第三個是所謂的salt， 第二個參數是輸入的需要翻譯的單詞 ''' from urllib import request, parsedef getSalt():'''salt的公式r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))把它翻譯成python代碼'''import time, randomsalt = int(time.time()*1000) + random.randint(0, 10)return saltdef getMD5(v):import hashlibmd5 = hashlib.md5()md5.update(v.encode('utf-8'))sign = md5.hexdigest()return signdef getSign(key, salt):sign = "fanyideskweb" + key + str(salt) + "ebSeFb%=XZ%T[KZ)c(sy!"sign = getMD5(sign)return signdef youdao(key):# url從http://fanyi.youdao.com輸入詞匯右鍵檢查得到url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=true"salt = getSalt()# data從右鍵檢查FormData得到data = {"i": key,"from": "AUTO","to": "AUTO","smartresult": "dict","client": "fanyideskweb","salt": str(salt),"sign": getSign(key, salt),"doctype": "json","version": "2.1","keyform": "fanyi.web","action": "FY_BY_REALTIME","typoResult": "false"}print(data)# 對data進行編碼，因為參數data需要bytes格式data = parse.urlencode(data).encode()# headers從右鍵檢查Request Headers得到headers = {"Accept": "application/json, text/javascript, */*; q=0.01","Accept-Language": "zh-CN,zh;q=0.9","Connection": "keep-alive","Content-Length": len(data),"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8","Cookie": "OUTFOX_SEARCH_USER_ID=685021846@10.168.8.76; OUTFOX_SEARCH_USER_ID_NCOO=366356259.5731474; _ntes_nnid=1f61e8bddac5e72660c6d06445559ffb,1535033370622; JSESSIONID=aaaVeQTI9KXfqfVBNsXvw; ___rl__test__cookies=1535204044230","Host": "fanyi.youdao.com","Origin": "http://fanyi.youdao.com","Referer": "http://fanyi.youdao.com/","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36","X-Requested-With": "XMLHttpRequest"}req = request.Request(url=url, data=data, headers=headers)rsp = request.urlopen(req)html = rsp.read().decode()print(html)if __name__ == '__main__':youdao("girl")

運行結果

返回翻譯后的值，才算是成功

注意
按照步驟，熟悉流程最重要

更多文章鏈接：Python 爬蟲隨筆

---

- 本筆記不允許任何個人和組織轉載

總結

以上是生活随笔為你收集整理的Python爬虫教程-16-破解js加密实例（有道在线翻译）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。