MJ12bot是什么蜘蛛爬虫?是否需要禁止mj12bot蜘蛛的访问?
生活随笔
收集整理的這篇文章主要介紹了
MJ12bot是什么蜘蛛爬虫?是否需要禁止mj12bot蜘蛛的访问?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
MJ12bot是英國的一家老牌的搜索引擎營銷網站Majestic的爬蟲,他有專門的中文站,對外鏈查詢等很多SEO數據查詢提供數據支撐,做過外鏈的都知道,獲取外鏈資源是一項基本能力,這個網站可以查詢網站的外鏈資源數,不過很多公司看到日志里有這個MJ12bot蜘蛛,中文網站建議是選擇直接屏蔽掉(MJ12bot是Majestic-12分布式搜索引擎的爬蟲)
MJ12bot遵循robots.txt標準,若需屏蔽他,直接在 robots.txt 添加以下代碼;
User-agent: MJ12bot
Disallow: /
總結
以上是生活随笔為你收集整理的MJ12bot是什么蜘蛛爬虫?是否需要禁止mj12bot蜘蛛的访问?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 广东省中小学心理健康教育C证怎么翻译?
- 下一篇: 腾讯围剿抖音又一干将:傻瓜式剪辑 App