日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

DotnetSpider (二) Downloader的设置 Request自定义数据字典

發(fā)布時間:2024/9/20 编程问答 22 豆豆
生活随笔 收集整理的這篇文章主要介紹了 DotnetSpider (二) Downloader的设置 Request自定义数据字典 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

**?溫馨提示:如需轉(zhuǎn)載本文,請注明內(nèi)容出處。**

本文連接:http://www.cnblogs.com/grom/p/8968905.html?

接上一篇,在原項目的基礎(chǔ)上進行改造,為EntitySpider設(shè)置Downloader。

自定義Downloader類:

public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader
{
  protected override Page DowloadContent(Request request, ISpider spider)
  {
    var site = spider.Site;
    request.Extras = new Dictionary<string, dynamic>();
    request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
    Page page = new Page(request);
    return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
  }
}

注釋為:

這里的數(shù)據(jù)字典可以在選擇器中使用SelectorType.Enviroment來使用

  

如圖所示,Url為Request自帶Key,Date就是我們上面設(shè)置的屬性了,通過這種方法,達到了在數(shù)據(jù)庫內(nèi)插入一列自定義數(shù)據(jù),我這里的作用是記錄抓取日期。

結(jié)果:

  

來看下Request類

  

這個是發(fā)起請求的信息,也就是說,在這個自定義的Downloader里面,我們可以任意修改定義帶{ set; }權(quán)限的屬性,包括cookie等,來滿足我們的需求。

總結(jié)

以上是生活随笔為你收集整理的DotnetSpider (二) Downloader的设置 Request自定义数据字典的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。