robots.txt文件里面怎样屏蔽蜘蛛
生活随笔
收集整理的這篇文章主要介紹了
robots.txt文件里面怎样屏蔽蜘蛛
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
robots.txt文件，是每個網站都可以用來跟，遵循robots協議的搜索引擎蜘蛛，進行對話的一段代碼。
我們先來看一個列子，讓搜索引擎抓取所有的內容，代碼如下：
User-agent: *Allow: /
其中User-agent后面跟的是蜘蛛的名字，如果是所有的蜘蛛都遵守的話，那么就可以用*來代替所有的蜘蛛，如果只是針對某一蜘蛛的話，
那么只需要列出來這個蜘蛛的名字即可。如果不想讓蜘蛛來爬取，那么只需要將Allow修改為Disallow，禁止爬取即可，/后面跟的內容就是
禁止或允許爬取的內容。
而有時候蜘蛛爬取過于頻繁，那么我們需要添加Crawl-delay這個代碼，他的意思是告訴蜘蛛延時多少秒以后再來爬取，我們可以看下實例：
User-agent: *
Crawl-delay: 500
?
前面的內容都一樣，不同的是Crawl-delay后面只能跟數字，而且只能是正整數。
?
其實最好的辦法你還是嘗試下robots.txt文件的設置，在網站的robots.txt文件中加上如下內容：
以百度蜘蛛為例
User-agent: Baiduspider
Disallow: /
這種方法如果不能完全屏蔽百度的爬蟲，也就是蜘蛛要是不遵守robots協議，我們才要想完全屏蔽百度的爬蟲，需要在.htaccess中加入一些語句才可以，下面介紹兩種方法。
方法1：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
方法2：
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
Order Allow,Deny
Allow from all?
安徽育兒網 http://www.ahyuer.com
轉載于:https://www.cnblogs.com/jincon/archive/2011/01/22/1941982.html
總結
以上是生活随笔為你收集整理的robots.txt文件里面怎样屏蔽蜘蛛的全部內容，希望文章能夠幫你解決所遇到的問題。
