對于一個網(wǎng)站而言，很多站長都認為收錄是越多越好，尤其是在早期做站的時候，很多站長都已對方網(wǎng)站的收錄情況作為一個網(wǎng)站質(zhì)量的評估標(biāo)準(zhǔn)，認為一個高收錄的網(wǎng)站通常都是受到搜索引擎喜愛的網(wǎng)站，而在很多情況下，特別是百度更新的時候，我們會發(fā)現(xiàn)這些收錄量及其的不穩(wěn)定，經(jīng)常的出現(xiàn)大起大落的狀況，從而也嚴(yán)重的導(dǎo)致網(wǎng)站權(quán)重不夠穩(wěn)定，而這一問題的導(dǎo)致原因也無疑是因為網(wǎng)站存在大量質(zhì)量比較低的頁面而導(dǎo)致的。
 
  所以在 為主還是用戶體驗為主的問題上，往往會面臨很艱難的選擇，所以這個時候怎樣把這些沖突化解就極為重要了。而對于一個有質(zhì)量的網(wǎng)站頁面，用戶和蜘蛛也是有著不同的評估標(biāo)準(zhǔn)，所以這個時候我們適當(dāng)?shù)娜テ帘我恍τ谒阉饕娌皇呛苡押玫捻撁鎸τ谝粋€網(wǎng)站日后的發(fā)展而言是非常有必要的，并且這種事情我們在網(wǎng)站的發(fā)展中是會經(jīng)常的遇到的，就比如說我想要給www.jb51.net開設(shè)一個論壇方便用戶來交流，但是又會有很多的廣告商來這里發(fā)布一些沒用的廣告，而這些廣告的質(zhì)量是極為低的，所以這個時候會了方便用戶交流又不會影響到網(wǎng)站在搜索引擎中的權(quán)重，我們就非常的有必要把這些頁面板塊進行屏蔽，不讓蜘蛛來抓取，這樣就可以做到兩全其美咯。