六、妥善處理重定向
重定向允許舊的URL被重新指向到目前的URL上,往往發生在URL臨時或永久性改變的時候用到,我們在SEO中有時候為了規范URL或確定首選域的時候也會用到重定向,但可能會用有些原因會讓用戶依然使用舊的URL:
1、書簽:如果用戶給舊的URL加了書簽,那么,這些書簽會在改變之后,首次訪問出現404錯誤;
2、鏈接:互聯網上的其他鏈接可能或鏈接在舊的URL,所有這些鏈接在改變URL又沒有使用重定向的時候就成為了死鏈接;
3、搜索結果:在改變URL之前,你的舊URL可能被搜索引擎收錄而且出現在某些詞的搜索結果中,由于沒有使用重定向,用戶點擊這些舊的URL,也可能會出現404錯誤。
對于蜘蛛程序來講,重定向的結果最好是返回301狀態碼,也就是我們經常說的301重定向,那么,這樣可以使蜘蛛程序:
爬過新的URL的網頁:蜘蛛程序遇到301狀態碼,會爬蟲所提供的新的URL去爬蟲新的網頁,并索引上面的內容;
將舊網頁上的所有鏈接權重值進行傳遞:當蜘蛛程序遇見301代碼的時候,它會更新索引庫中的所有鏈接信息,因此舊的URL下網頁的所有鏈接權重值都會被轉移到新的URL下面。
對于重定向,請避免一下方式:
Javascript重定向:一種執行重新鏈接的方法是嵌入Javascript代碼
Meta更新重定向:有時候也叫做網頁刷新,這種是讓網頁在指定時間內自動刷新到新的網頁.
有時候由于某些原因可能會臨時改變URL,這時候可能會用到302代碼來做臨時的重定向,這樣搜索引擎在索引中會使用臨時重定向的URL,但收錄的內容還是重定向的網頁。
無論使用301永久性重定向還是臨時重定向,需要注意的一個問題,那就是在已經實施了重定向后,就不要再給URL加上跳轉或再次重定向,這樣導致的 循環重定向,這樣不但給用戶體驗帶來了影響,還可能因為跳轉太多導致蜘蛛程序放棄這些網頁,當我們對網頁進行了重定向后,需要對兩個URL進行檢測 (http://tool.chinaz.com/pagestatus/),看是否操作成功。
七、確保網站服務器相應
這樣的問題看起來發生才可能性很小,但存在這樣問題的網站還是很多,當蜘蛛程序訪問網站的時候,網站服務器必須處于正常的運行狀態。否則可能會因為蜘蛛程序多次訪問不成功,誤認為你的網站已經不存在而將搜索引擎中的網頁刪除。
另外一個因素是訪問速度過于緩慢,很對時候網站服務器在技術重啟的時候會變得很慢,導致蜘蛛程序很快放棄網站,很少有蜘蛛程序會等待一個網頁加載 10秒以上,而且緩慢的加載速度同樣會影響對你網站感興趣的忠實用戶,為了讓蜘蛛和用戶更加喜歡你的網站,迅捷的響應速度是非常有必要的。