日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程语言 > python >内容正文

python

python爬虫 爬取有道翻译详解

發(fā)布時(shí)間:2024/4/11 python 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python爬虫 爬取有道翻译详解 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

這里我們使用python的urllib來(lái)實(shí)現(xiàn)
首先,我們需要找到我們進(jìn)行翻譯時(shí)上傳給服務(wù)器的數(shù)據(jù)。

我們可以通過(guò)查找審查元素中的Network這一欄目下,選擇執(zhí)行Post方法的選項(xiàng)。

在General下的Request URL就是我們?cè)L問(wèn)的鏈接

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'


而Form Data下的就是我們所提交的數(shù)據(jù),其中的i:就是我們提交的翻譯內(nèi)容,而這段數(shù)據(jù),是通過(guò)字典的形式來(lái)存儲(chǔ)的,所以我們只需要修改這個(gè)i所對(duì)應(yīng)的值即可提交我們想要的翻譯內(nèi)容。

data = {'i' : target,'from' : 'AUTO','to' : 'AUTO','smartresult' : 'dict','client' : 'fanyideskweb','salt' : '15810537039389','sign' : '157b38258a2253c7899895880487edfd','ts' : '1581053703938','bv' : '901200199a98c590144a961dac532964','doctype' : 'json','version' : '2.1','keyfrom' : 'fanyi.web','action' : 'FY_BY_CLICKBUTTION', }

但是我們并不能這樣直接的提交數(shù)據(jù),我們還需要利用到urllib中的parse模塊來(lái)將我們的數(shù)據(jù)以u(píng)tf-8的形式進(jìn)行編碼

data = urllib.parse.urlencode(data).encode('utf-8')

當(dāng)我們上傳了數(shù)據(jù)后,還需要讀取返回的數(shù)據(jù),同時(shí)再將返回?cái)?shù)據(jù)通過(guò)utf-8的形式進(jìn)行解碼

rep = urllib.request.Request(url, data,)response = urllib.request.urlopen(rep)html = response.read().decode('utf-8')


我們發(fā)現(xiàn)返回來(lái)的數(shù)據(jù)其實(shí)是一個(gè)json格式的數(shù)據(jù),也就是通過(guò)字符串來(lái)封裝的python的數(shù)據(jù)結(jié)構(gòu),所以我們需要導(dǎo)入這個(gè)json

result = json.loads(html)


這就是導(dǎo)入后的數(shù)據(jù),就是返回的字典,我們可以通過(guò)‘translateResult’這關(guān)鍵詞來(lái)訪問(wèn)翻譯結(jié)果

因?yàn)橥饷孢€封裝了兩層列表,所以我們需要進(jìn)入這兩層列表后再通過(guò)tgt這個(gè)關(guān)鍵字即可找到翻譯結(jié)果,當(dāng)然,這里使用正則表達(dá)式來(lái)查找會(huì)更加簡(jiǎn)潔

result = result['translateResult'][0][0]['tgt']

最后

完整代碼

import urllib.request import urllib.parse import json import time while True:target = input("請(qǐng)輸入需要翻譯的內(nèi)容:")url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'data = {'i' : target,'from' : 'AUTO','to' : 'AUTO','smartresult' : 'dict','client' : 'fanyideskweb','salt' : '15810537039389','sign' : '157b38258a2253c7899895880487edfd','ts' : '1581053703938','bv' : '901200199a98c590144a961dac532964','doctype' : 'json','version' : '2.1','keyfrom' : 'fanyi.web','action' : 'FY_BY_CLICKBUTTION', }head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}data = urllib.parse.urlencode(data).encode('utf-8')rep = urllib.request.Request(url, data, head)response = urllib.request.urlopen(rep)html = response.read().decode('utf-8')result = json.loads(html)result = result['translateResult'][0][0]['tgt']print("翻譯結(jié)果為:",result)

上面的這個(gè)代碼其實(shí)還有很多缺點(diǎn),因?yàn)楫?dāng)我們多次訪問(wèn)后可能會(huì)被服務(wù)器發(fā)現(xiàn)訪問(wèn)者其實(shí)只是一段代碼,所以我們需要通過(guò)添加user agent來(lái)讓服務(wù)器認(rèn)為是瀏覽器訪問(wèn),并且還需要添加代理來(lái)防止在同一ip下多次訪問(wèn)后被ban,這些內(nèi)容我都會(huì)在后面的博客中寫(xiě)出

總結(jié)

以上是生活随笔為你收集整理的python爬虫 爬取有道翻译详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。