大量死鏈對搜索引擎來講，有什么影響?

　　1、幾乎很多站都避免不了存在死鏈接，但死鏈率過高，會影響搜索引擎對網(wǎng)站的評分。

　　2、搜索引擎對每個網(wǎng)站每天抓取的頻次是限額的，若網(wǎng)站存在大量死鏈，會浪費掉抓取配額并影響正常頁面的抓取。

　　3、過多死鏈對網(wǎng)站用戶來講也是體驗不好的表現(xiàn)。

　　百度站長工具中有一個抓取異常，那么這個工具里面的異常數(shù)據(jù)是如何產(chǎn)生的呢?

　　1、網(wǎng)站內(nèi)部添加了錯誤的內(nèi)部鏈接

　　編輯失誤或者程序員大意讓頁面產(chǎn)生了不存在頁面的URL。

　　2、原來正常頁面因為程序或頁面調(diào)整或改版無法打開

　　因為程序的一個改動，導致了某些正常頁面無法打開。

　　3、網(wǎng)站短暫無法訪問

　　因為服務器、空間或程序問題導致網(wǎng)站無法訪問，抓取異常中會出現(xiàn)大量的500錯誤頁面。

　　4、外部鏈接錯誤

　　用戶或者站長在站外發(fā)布了錯誤URL，蜘蛛爬取后產(chǎn)生錯誤頁面;別的網(wǎng)站復制或采集了你們含有錯誤鏈接的頁面;有些垃圾網(wǎng)站自動生成的靜態(tài)搜索結果頁，如 www。8875。org/desc/3715714444.html 這個頁面中出現(xiàn)的很多鏈接在html前面有“...”。

　　5、爬蟲提取了不完整的URL

　　個別爬蟲在提取頁面URL的時候，只提取部分URL或者把正常的URL后面的文字或字符也提取進去了。

　　6、網(wǎng)站改版或管理員刪除頁面

　　網(wǎng)站改版過程中處理不當導致部分老頁面無法訪問,或者網(wǎng)站管理員刪除被黑、廣告、過時、被灌水頁面。

　　出現(xiàn)了上述情況，我們該如何去解決

　　1、修復錯誤頁面 抓取異常中的很多錯誤頁面是因為程序員大意或者我們程序問題導致的，本應該是正常頁面，因為失誤導致無法訪問，對于此類頁面，第一時間進行修復。

　　2、提交死鏈接 但必定很多錯誤頁面是本不應該存在的，那么我們要想辦法獲取此類頁面URL，獲取方式主要有三種：

　　（1） 百度站長工具--抓取異常--找不到的頁面--復制數(shù)據(jù) [修正：此處死鏈不需我們提交了，百度站長工具自動提交死鏈];

　　（2） 管理員在刪除頁面的時候手動或者程序自動保存被刪頁面URL;

　　（3） 使用相關爬蟲軟件，爬取整站獲取死鏈，如Xenu 。

　　然后將上述數(shù)據(jù)合并并刪除重復項(excel表格中能實現(xiàn)刪重，wps表格更容易操作)，然后再復制所有URL通過HTTP狀態(tài)批量查詢工具查詢下[這個不錯pl.soshoulu.com/webspeed.aspx]，剔除掉非404返回碼頁面。

　　然后整理上面處理好的數(shù)據(jù)粘貼到網(wǎng)站根目錄中的一個文檔中，再把文檔地址提交到 百度站長工具--網(wǎng)頁抓取--死鏈提交--添加新數(shù)據(jù)--填寫死鏈文件地址。

　　3、在robots中屏蔽抓取

　　若大量的錯誤URL存在一定的規(guī)律，可以在robots文件中寫一個規(guī)則禁止蜘蛛程序抓取此類鏈接，但前提一定要照顧好正常頁面，避免屏蔽規(guī)則誤傷正常頁面，比如你的網(wǎng)站全部是靜態(tài)URL，那么如果錯誤鏈接中含有?的話，規(guī)則寫成Disallow:/*?*，如果錯誤鏈接中有/id...html 的話，規(guī)則寫成Disallow:/*...* 。

　　robots文件添加完規(guī)則后，一定要去百度站長的 robots工具 進行校驗，將指定的錯誤頁面放進去，看看是否封禁成功，再把正常的頁面放進去看看是否被誤封。

總結

以上是生活随笔為你收集整理的死链对网站的影响、产生过程、解决办法汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。