午休前分享一下robots吧！
相信很多站長對robots都不會陌生了吧？！
但是還是有些人會寫錯！這真是丟盡了站長的臉了，還是會寫錯的，留個言，我們會對你進行“判死 緩”的，哈哈！~
不管怎么說，有時候錯誤往往都會出現在積極兩個字上面，站長何必自己去一字一字的寫robots呢？！這多浪費時間呀！直接copy別人網站上面不就完了么，對不？簡單省事。。。有時候積極也未必是好事，萬一寫錯了就鬧笑話了。。。
好吧！你說我就是要自己寫，不想看別人的，這是認真負責，就像小學生考試的時候，老師說了，考試不要作弊，不要互相抄襲。。。Duang！~腦袋炸了，所以當答案就在面前的時候，盡然失去了抄的能力！杯具呀。
好了，不調侃了，認真寫好robots。
首先robots必須聲明針對的蜘蛛
"User-Agent:"
這一行就是針對這一聲明的，
"User-agent: Baiduspider"
很明顯這就是針對百度蜘蛛的聲明了

第二個要了解的就是“允許”和“不允許”
代碼是“Allow:”和“Disallow:”，后面加上你想要“允許”和“不允許”抓取的欄目或者網址
這里在介紹一個通配符“*”，怎么用呢！看看
Disallow: /*.css
Disallow: /*.js
Disallow: /*.aspx
這里就是禁止抓取所有的css樣式和js樣式，還有我們的動態頁

第三個你可以在最后加上自己的sitemap地址，還是比較有用的，本人測試過。

第四點吶最重要的一點，就是空格！空格！！空格！！！
很多人在自己寫robots的時候都會忘記的就空格了
User-Agent:（英文空格）*
Disallow:（英文空格）/*.css

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的站长们都会，但是都会写错的robots！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。