Python

Python開(kāi)發(fā)

Python語(yǔ)言

Scrapy中response屬性以及內(nèi)容提取

一.屬性

url ：HTTP響應(yīng)的url地址,str類型

status：HTTP響應(yīng)的狀態(tài)碼, int類型

headers ：HTTP響應(yīng)的頭部, 類字典類型, 可以調(diào)用get或者getlist方法對(duì)其進(jìn)行訪問(wèn)

body：HTTP響應(yīng)正文, bytes類型

text：文本形式的HTTP響應(yīng)正文, str類型

response.text = response.body.decode(response.encoding)

encoding：HTTP響應(yīng)正文的編碼

reqeust：產(chǎn)生該HTTP響應(yīng)的Reqeust對(duì)象

meta：即response.request.meta, 在構(gòu)造Request對(duì)象時(shí), 可將要傳遞給響應(yīng)處理函數(shù)的信息通過(guò)meta參數(shù)傳入, 響應(yīng)處理函數(shù)處理響應(yīng)時(shí), 通過(guò)response.meta將信息提取出來(lái)

selector：Selector對(duì)象用于在Response中提取數(shù)據(jù)使用下面詳細(xì)將,主要是 xpath,css取值之后的處理

xpath(query)：下面詳細(xì)講解

css(query) ：下面詳細(xì)講解

urljoin(url) ：用于構(gòu)造絕對(duì)url, 當(dāng)傳入的url參數(shù)是一個(gè)相對(duì)地址時(shí), 根據(jù)response.url計(jì)算出相應(yīng)的絕對(duì)url.

二.Selector對(duì)象

Selector 對(duì)象和SelectorList對(duì)象都有以下幾種方法。

extract() 返回選中內(nèi)容的Unicode字符串

re("正則表達(dá)式") 正則提取

extract_first()(SelectorList獨(dú)有)

返回列表中的第一個(gè)元素內(nèi)容

re_first()(SelectorList獨(dú)有)

返回列表中的第一個(gè)元素內(nèi)容

三.CSS

response.css('css選擇器')返回值是Selector對(duì)象

獲取一個(gè)

response.css('css選擇器').extract_first()

獲取全部

response.css('css選擇器').extract()

獲取其中某個(gè)屬性

response.css('css選擇器::attr(屬性名)').extract()

只要標(biāo)簽里的文本

(response.css('css選擇器::text').extract()

四.xpath

response.css('xpath選擇器')返回值是Selector對(duì)象

內(nèi)容來(lái)源于網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系客服刪除

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的pythonresponse对象的属性_Scrapy中response属性以及内容提取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。