六、妥善處理重定向

重定向允許舊的URL被重新指向到目前的URL上，往往發(fā)生在URL臨時(shí)或永久性改變的時(shí)候用到，我們?cè)赟EO中有時(shí)候?yàn)榱艘?guī)范URL或確定首選域的時(shí)候也會(huì)用到重定向，但可能會(huì)用有些原因會(huì)讓用戶依然使用舊的URL：

1、書(shū)簽：如果用戶給舊的URL加了書(shū)簽，那么，這些書(shū)簽會(huì)在改變之后，首次訪問(wèn)出現(xiàn)404錯(cuò)誤；

2、鏈接：互聯(lián)網(wǎng)上的其他鏈接可能或鏈接在舊的URL，所有這些鏈接在改變URL又沒(méi)有使用重定向的時(shí)候就成為了死鏈接；

3、搜索結(jié)果：在改變URL之前，你的舊URL可能被搜索引擎收錄而且出現(xiàn)在某些詞的搜索結(jié)果中，由于沒(méi)有使用重定向，用戶點(diǎn)擊這些舊的URL，也可能會(huì)出現(xiàn)404錯(cuò)誤。

對(duì)于蜘蛛程序來(lái)講，重定向的結(jié)果最好是返回301狀態(tài)碼，也就是我們經(jīng)常說(shuō)的301重定向，那么，這樣可以使蜘蛛程序：

爬過(guò)新的URL的網(wǎng)頁(yè)：蜘蛛程序遇到301狀態(tài)碼，會(huì)爬蟲(chóng)所提供的新的URL去爬蟲(chóng)新的網(wǎng)頁(yè)，并索引上面的內(nèi)容；
將舊網(wǎng)頁(yè)上的所有鏈接權(quán)重值進(jìn)行傳遞：當(dāng)蜘蛛程序遇見(jiàn)301代碼的時(shí)候，它會(huì)更新索引庫(kù)中的所有鏈接信息，因此舊的URL下網(wǎng)頁(yè)的所有鏈接權(quán)重值都會(huì)被轉(zhuǎn)移到新的URL下面。
對(duì)于重定向，請(qǐng)避免一下方式：

Javaｓｃｒｉｐｔ重定向：一種執(zhí)行重新鏈接的方法是嵌入Javaｓｃｒｉｐｔ代碼

Meta更新重定向：有時(shí)候也叫做網(wǎng)頁(yè)刷新，這種是讓網(wǎng)頁(yè)在指定時(shí)間內(nèi)自動(dòng)刷新到新的網(wǎng)頁(yè).

有時(shí)候由于某些原因可能會(huì)臨時(shí)改變URL，這時(shí)候可能會(huì)用到302代碼來(lái)做臨時(shí)的重定向，這樣搜索引擎在索引中會(huì)使用臨時(shí)重定向的URL，但收錄的內(nèi)容還是重定向的網(wǎng)頁(yè)。

無(wú)論使用301永久性重定向還是臨時(shí)重定向，需要注意的一個(gè)問(wèn)題，那就是在已經(jīng)實(shí)施了重定向后，就不要再給URL加上跳轉(zhuǎn)或再次重定向，這樣導(dǎo)致的 循環(huán)重定向，這樣不但給用戶體驗(yàn)帶來(lái)了影響，還可能因?yàn)樘D(zhuǎn)太多導(dǎo)致蜘蛛程序放棄這些網(wǎng)頁(yè)，當(dāng)我們對(duì)網(wǎng)頁(yè)進(jìn)行了重定向后，需要對(duì)兩個(gè)URL進(jìn)行檢測(cè) （http://tool.chinaz.com/pagestatus/），看是否操作成功。

七、確保網(wǎng)站服務(wù)器相應(yīng)

這樣的問(wèn)題看起來(lái)發(fā)生才可能性很小，但存在這樣問(wèn)題的網(wǎng)站還是很多，當(dāng)蜘蛛程序訪問(wèn)網(wǎng)站的時(shí)候，網(wǎng)站服務(wù)器必須處于正常的運(yùn)行狀態(tài)。否則可能會(huì)因?yàn)橹┲氤绦蚨啻卧L問(wèn)不成功，誤認(rèn)為你的網(wǎng)站已經(jīng)不存在而將搜索引擎中的網(wǎng)頁(yè)刪除。

另外一個(gè)因素是訪問(wèn)速度過(guò)于緩慢，很對(duì)時(shí)候網(wǎng)站服務(wù)器在技術(shù)重啟的時(shí)候會(huì)變得很慢，導(dǎo)致蜘蛛程序很快放棄網(wǎng)站，很少有蜘蛛程序會(huì)等待一個(gè)網(wǎng)頁(yè)加載 10秒以上，而且緩慢的加載速度同樣會(huì)影響對(duì)你網(wǎng)站感興趣的忠實(shí)用戶，為了讓蜘蛛和用戶更加喜歡你的網(wǎng)站，迅捷的響應(yīng)速度是非常有必要的。