1、簡單明(míng)了(le)的(de)網站結構
Spider抓取相當于對(duì)web這(zhè)個(gè)有向圖進行遍曆，那麽一個(gè)簡單明(míng)了(le)結構層次分(fēn)明(míng)的(de)網站肯定是它所喜歡的(de)，并盡量保證spider的(de)可(kě)讀性。
(1)樹型結構最優的(de)結構即“首頁—頻(pín)道—詳情頁”；
(2)扁平首頁到詳情頁的(de)層次盡量少，既對(duì)抓取友好又可(kě)以很好的(de)傳遞權重。
(3)網狀保證每個(gè)頁面都至少有一個(gè)文本鏈接指向，可(kě)以使網站盡可(kě)能全面的(de)被抓取收錄，内鏈建設同樣對(duì)排序能夠産生積極作用(yòng)。
(4)導航爲每個(gè)頁面加一個(gè)導航方便用(yòng)戶知曉所在路徑。
(5)子域與目錄的(de)選擇相信有大(dà)批的(de)站長(cháng)對(duì)此有疑問，在我們看來(lái)，當内容較少并且内容相關度較高(gāo)時(shí)建議(yì)以目錄形式來(lái)實現，有利于權重的(de)繼承與收斂；當内容量較多(duō)并且與主站相關度略差時(shí)建議(yì)再以子域的(de)形式來(lái)實現。
2、簡潔美(měi)觀的(de)url規則
(1)唯一性網站中同一内容頁隻與唯一一個(gè)url相對(duì)應，過多(duō)形式的(de)url将分(fēn)散該頁面的(de)權重，并且目标url在系統中有被濾重的(de)風險；
(2)簡潔性動态參數盡量少，保證url盡量短；
(3)美(měi)觀性使得(de)用(yòng)戶及機器能夠通(tōng)過url即可(kě)判斷出頁面内容的(de)主旨；
我們推薦如下(xià)形式的(de)url：url盡量短且易讀使得(de)用(yòng)戶能夠快(kuài)速理(lǐ)解，例如使用(yòng)拼音(yīn)作爲目錄名稱；同一内容在系統中隻産生唯一的(de)url與之對(duì)應，去掉無意義的(de)參數；如果無法保證url的(de)唯一性，盡量使不同形式的(de)url301到目标url；防止用(yòng)戶輸錯的(de)備用(yòng)域名301至主域名。
3、其他(tā)注意事項
(1)不要忽略倒黴的(de)robots文件，默認情況下(xià)部分(fēn)系統robots是封禁搜索引擎抓取的(de)，當網站建立後及時(shí)查看并書(shū)寫合适的(de)robots文件，網站日常維護過程中也(yě)要注意定期檢查；
(2)建立網站sitemap文件、死鏈文件，并及時(shí)通(tōng)過百度站長(cháng)平台進行提交；
(3)部分(fēn)電商網站存在地域跳轉問題，有貨無貨建議(yì)統一做(zuò)成一個(gè)頁面，在頁面中标識有無貨即可(kě)，不要此地區(qū)無貨即返回一個(gè)無效頁面，由于spider出口的(de)有限性将造成正常頁面無法收錄。
(4)合理(lǐ)利用(yòng)站長(cháng)平台提供的(de)robots、sitemap、索引量、抓取壓力、死鏈提交、網站改版等工具。
