MJ12bot是英國的一家老牌的搜索引擎營銷網站Majestic的爬蟲，他有專門的中文站，對外鏈查詢等很多SEO數據查詢提供數據支撐，做過外鏈的都知道，獲取外鏈資源是一項基本能力，這個網站可以查詢網站的外鏈資源數，不過很多公司看到日志里有這個MJ12bot蜘蛛，中文網站建議是選擇直接屏蔽掉（MJ12bot是Majestic-12分布式搜索引擎的爬蟲）

MJ12bot遵循robots.txt標準，若需屏蔽他，直接在 robots.txt 添加以下代碼;

User-agent: MJ12bot
Disallow: /

總結

以上是生活随笔為你收集整理的MJ12bot是什么蜘蛛爬虫？是否需要禁止mj12bot蜘蛛的访问？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。