如果發(fā)現(xiàn)搜索引擎蜘蛛爬行網(wǎng)站不順暢甚至有不爬行的情況，有可能是網(wǎng)站陷阱導(dǎo)致蜘蛛爬行變得不通順，進(jìn)而引發(fā)一些蜘蛛不爬行的現(xiàn)象，而阻礙蜘蛛爬行引發(fā)的網(wǎng)站陷阱又是什么呢？

陷阱一：網(wǎng)站地圖不正確  

網(wǎng)站地圖是一個(gè)非常有用的網(wǎng)站工具，對(duì)于用戶和蜘蛛來(lái)說(shuō)，一副完整、正確的網(wǎng)站地圖都能很好地識(shí)別整個(gè)網(wǎng)站的架構(gòu)，從而更好地瀏覽和爬行網(wǎng)站。由于一些站長(zhǎng)對(duì)于代碼的不熟悉，以及對(duì)網(wǎng)站的架構(gòu)不熟悉，就隨便選了一個(gè)有名性不好的工具來(lái)制作了一副不完整或不正確的網(wǎng)站地圖，后的結(jié)果就是讓蜘蛛爬行時(shí)陷入其中，終“迷路”了。  

選擇一個(gè)有名性好的工具來(lái)制作網(wǎng)站地圖，比如站長(zhǎng)工具、百度站長(zhǎng)平臺(tái)工具等，如果自己對(duì)網(wǎng)站比較熟悉，能夠自己手工制作，并親身多次測(cè)試，保證好網(wǎng)站地圖的正確性和完整性。  

陷阱二：網(wǎng)站的死鏈接數(shù)量巨大  

所謂的死鏈接就是就是返回代碼為404的錯(cuò)誤頁(yè)面鏈接，這類鏈接通常產(chǎn)生于網(wǎng)站改版后、或者網(wǎng)站更換域名后。死鏈接的存在對(duì)于用戶體驗(yàn)和蜘蛛爬行來(lái)說(shuō)都是非常不好的。死鏈接無(wú)疑就是阻擋著蜘蛛的爬行，當(dāng)蜘蛛接二連三地碰到這些不該出現(xiàn)的死鏈接時(shí)，就會(huì)產(chǎn)生對(duì)網(wǎng)站的不信任，終會(huì)放棄爬行網(wǎng)站。  

(1)提交死鏈接。利用百度站長(zhǎng)平臺(tái)的“死鏈提交”工具來(lái)提交網(wǎng)站死鏈，具體說(shuō)明請(qǐng)參考百度站長(zhǎng)工具。  

(2)對(duì)死鏈接進(jìn)行重定向或者刪除，如果死鏈接的位置不是很重要，可以把其重定向到首頁(yè)，如果位置比較重要，數(shù)量也比較多，就可以選擇刪除死鏈接，可以使用工具來(lái)刪除。  

注：上圖為蜘蛛爬行網(wǎng)站不順暢的原因

陷阱三：網(wǎng)址包含參數(shù)過(guò)多  

盡管百度優(yōu)化指南官方表明，目前百度搜索機(jī)器人也能像谷歌機(jī)器人一樣收錄動(dòng)態(tài)參數(shù)網(wǎng)站，但是靜態(tài)化url的網(wǎng)站永遠(yuǎn)要比動(dòng)態(tài)化url收錄更有優(yōu)勢(shì)。因此，如果你的網(wǎng)站像下面的網(wǎng)址一樣，那就可能會(huì)導(dǎo)致蜘蛛爬行不順暢了：  

在選擇做站程序前，一定要考慮該程序是否支持網(wǎng)站url靜態(tài)化，并且在日后維護(hù)中也要注意網(wǎng)站url是否真正做到靜態(tài)化，盡量舍棄包含參數(shù)的動(dòng)態(tài)網(wǎng)址的做法。  

阱四：網(wǎng)站過(guò)多錨文本  

網(wǎng)站錨文本過(guò)多，造成內(nèi)鏈鏈輪。外部鏈輪相信大家都會(huì)認(rèn)識(shí)，但是其實(shí)內(nèi)部鏈接也是可以產(chǎn)生鏈輪的。很多站長(zhǎng)為了提升關(guān)鍵詞排名，不惜使用過(guò)多的錨文本，然后造成頁(yè)面之間的鏈接輪回效應(yīng)，后也讓蜘蛛走進(jìn)了無(wú)底洞，無(wú)法走出來(lái)了。

因此，我們需要不斷探究搜索引擎蜘蛛的爬行規(guī)律，為蜘蛛的爬行營(yíng)造順暢的網(wǎng)站環(huán)境，才有可能確保我們的網(wǎng)站每天被蜘蛛爬行抓取，贏得更好的網(wǎng)站權(quán)重與排名。