? ?談到robots.txt文件，首先我們必須了解什么是robots協(xié)議，Robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

? ?當(dāng)一個(gè)搜索機(jī)器人（可以理解）訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪(fǎng)問(wèn)的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。

robots.txt文件的寫(xiě)法：

? ?User-agent: * 這里的*代表的所有的搜索引擎種類(lèi)，*是一個(gè)通配符
? ?Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
? ?Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
? ?Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
? ?Disallow: /cgi-bin/*.htm 禁止訪(fǎng)問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
? ?Disallow: /*?* 禁止訪(fǎng)問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址
? ?Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
? ?Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
? ?Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
? ?Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
? ?Allow: .htm$ 僅允許訪(fǎng)問(wèn)以".htm"為后綴的URL。
? ?Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片
? ?Sitemap: 網(wǎng)站地圖 告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖

其它屬性
? ?1. Robot-version: 用來(lái)指定robot協(xié)議的版本號(hào)
? ? ? ?例子: Robot-version: Version 2.0
? ?2.Crawl-delay：雅虎YST一個(gè)特定的擴(kuò)展名，可以通過(guò)它對(duì)我們的抓取程序設(shè)定一個(gè)較低的抓取請(qǐng)求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序兩次進(jìn)入站點(diǎn)時(shí)，以秒為單位的最低延時(shí)。
? ?3. Visit-time:只有在visit-time指定的時(shí)間段里,robot才可以訪(fǎng)問(wèn)指定的URL,否則不可訪(fǎng)問(wèn).
? ? ? ?例子: Visit-time: 0100-1300 #允許在凌晨1:00到13:00訪(fǎng)問(wèn)
? ?4. Request-rate: 用來(lái)限制URL的讀取頻率
? ? ? ?例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之間,以每分鐘40次的頻率進(jìn)行訪(fǎng)問(wèn)
? ? ? ?Request-rate: 12/1m 0800 - 1300 在8:00到13:00之間,以每分鐘12次的頻率進(jìn)行訪(fǎng)問(wèn)

轉(zhuǎn)載于:https://blog.51cto.com/suiwnet/1406797

與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的关于网站根目录下面robots.txt文件的作用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。