一站式解決死鏈問題
在網站日常運營,死鏈是難免會産生的(de),不僅影(yǐng)響了(le)用(yòng)戶體驗,也(yě)影(yǐng)響了(le)搜索效果;針對(duì)這(zhè)一現象,站長(cháng)社區(qū)版主—三木(mù)分(fēn)享了(le)他(tā)的(de)死鏈處理(lǐ)心得(de)。
本文主要講述死鏈對(duì)網站的(de)影(yǐng)響;死鏈是如何産生的(de);如何發現死鏈;如何正确處理(lǐ)死鏈。
一、大(dà)量死鏈對(duì)搜索引擎來(lái)講,有什(shén)麽影(yǐng)響?
1、死鏈率過高(gāo),會影(yǐng)響搜索引擎對(duì)網站的(de)評分(fēn)。
2、搜索引擎對(duì)每個(gè)網站每天抓取的(de)頻(pín)次是限額的(de),若網站存在大(dà)量死鏈,會浪費掉抓取配額并影(yǐng)響其他(tā)正常頁面的(de)抓取。
3、過多(duō)死鏈對(duì)網站用(yòng)戶來(lái)講也(yě)是體驗不好的(de)表現。
二、死鏈接是如何産生的(de)?
1、網站内部添加了(le)錯誤的(de)内部鏈接編輯失誤或者程序員(yuán)大(dà)意讓頁面産生了(le)不存在的(de)頁面。
2、網站短暫無法訪問因爲服務器、空間或程序問題導緻網站短暫無法訪問,産生大(dà)量返回碼爲5開頭的(de)服務器錯誤頁面。
3、外部鏈接錯誤用(yòng)戶或者站長(cháng)在站外發布了(le)錯誤URL;别的(de)網站複制或采集了(le)你們含有錯誤鏈接的(de)頁面。
4、爬蟲提取了(le)不完整的(de)URL個(gè)别爬蟲在提取頁面URL的(de)時(shí)候,因爲URL中有不規則字符或者URL與後邊的(de)文字鏈接起來(lái),導緻URL失效。
5、網站改版如果你的(de)網站已經改版或者将要改版,一定要注意死鏈問題,很多(duō)網站改版後,之前的(de)老頁面直接删除,導緻了(le)大(dà)量的(de)死鏈接。
6、管理(lǐ)員(yuán)删除頁面網站管理(lǐ)員(yuán)删除被黑(hēi)、廣告、過時(shí)、被灌水(shuǐ)頁面導緻很多(duō)死鏈接。
三、如何發現網站中存在的(de)死鏈接?
1、百度站長(cháng)工具中的(de)抓取異常工具可(kě)以查看最近一個(gè)月(yuè)産生的(de)各種死鏈,并支持導出功能。
2、使用(yòng)相關爬蟲軟件,比如Xenu,此類工具可(kě)以爬取全站所有鏈接并分(fēn)析頁面狀态,分(fēn)析完成後,支持導出功能,提取死鏈接即可(kě)。
3、在網站運營中,特别是論壇,經常需要删除某些頁面,在删除頁面時(shí)一定要記錄對(duì)應的(de)Url以便後期提交死鏈。
通(tōng)過上述兩種辦法提取的(de)死鏈列表,一定要經過删重和(hé)驗證,比如用(yòng)wps表格進行删除重複鏈接,然後再使用(yòng)Http狀态批量查詢工具驗證下(xià)是否确實是死鏈接。
四、如何避免和(hé)處理(lǐ)死鏈接?
1、網站改版最容易産生死鏈的(de)
改版之前的(de)頁面如果有價值盡量不要删除和(hé)修改Url,若需要更換域名或Url分(fēn)配規則,那一定要将之前的(de)url進行301跳轉到對(duì)應的(de)Url;若老的(de)數據必須删除,那删除的(de)所有頁面Url要進行整理(lǐ)和(hé)提交死鏈。
2、對(duì)發現的(de)死鏈接如何處理(lǐ)
将收集好的(de)所有死鏈接粘貼到網站根目錄的(de)一個(gè)文檔中,再把文檔地址提交到 百度站長(cháng)工具--網頁抓取--死鏈提交--添加新數據--填寫死鏈文件地址;若大(dà)量死鏈具有一定的(de)規則,如某個(gè)目錄下(xià)全部爲死鏈接,可(kě)提交規則死鏈。
相關注意事項:
1、在百度站長(cháng)工具中提交死鏈前,一定要确保提交的(de)死鏈數據不存在活鏈接。一旦存在活鏈,會顯示提交失敗導緻無法删除。
2、 由于很多(duō)網站程序問題,很多(duō)打不開的(de)頁面返回碼并非404,這(zhè)是一個(gè)大(dà)問題,比如明(míng)明(míng)是打不開的(de)頁面返回碼是301、200、500,如果是200的(de)話(huà), 會導緻網站中出現不同URL獲取相同内容。比如我的(de)一個(gè)站,社區(qū)的(de)帖子删除後,返回碼卻是500,後期發現了(le),立馬進行了(le)處理(lǐ)。大(dà)家盡量找出所有錯誤 URL格式,并設置HTTP狀态碼爲404。
3、把所有的(de)錯誤頁面找到後,一定要尋找此類頁面URL相同特征,并且和(hé)正常頁面的(de)特征有區(qū)分(fēn),寫對(duì)應規則到robots文件中,禁止蜘蛛抓取,就算(suàn)你已經在站長(cháng)工具中提交了(le)死鏈,也(yě)建議(yì)robots封禁抓取。
4、robots隻能解決蜘蛛不再抓取此類頁面,但解決不了(le)已經收錄頁面的(de)快(kuài)照(zhào)删除問題,若你的(de)網站被黑(hēi),删除了(le)被黑(hēi)頁面,除了(le)robots封禁被黑(hēi)頁面外,還(hái)應該将這(zhè)些頁面提交死鏈。提交死鏈是删除被黑(hēi)頁面快(kuài)照(zhào)的(de)最快(kuài)辦法。