對于一個網站而言，很多站長都認為收錄是越多越好，尤其是在早期做站的時候，很多站長都已對方網站的收錄情況作為一個網站質量的評估標準，認為一個高收錄的網站通常都是受到搜索引擎喜愛的網站，而在很多情況下，特別是百度更新的時候，我們會發現這些收錄量及其的不穩定，經常的出現大起大落的狀況，從而也嚴重的導致網站權重不夠穩定，而這一問題的導致原因也無疑是因為網站存在大量質量比較低的頁面而導致的。
 
  所以在 為主還是用戶體驗為主的問題上，往往會面臨很艱難的選擇，所以這個時候怎樣把這些沖突化解就極為重要了。而對于一個有質量的網站頁面，用戶和蜘蛛也是有著不同的評估標準，所以這個時候我們適當的去屏蔽一些對于搜索引擎不是很友好的頁面對于一個網站日后的發展而言是非常有必要的，并且這種事情我們在網站的發展中是會經常的遇到的，就比如說我想要給www.jb51.net開設一個論壇方便用戶來交流，但是又會有很多的廣告商來這里發布一些沒用的廣告，而這些廣告的質量是極為低的，所以這個時候會了方便用戶交流又不會影響到網站在搜索引擎中的權重，我們就非常的有必要把這些頁面板塊進行屏蔽，不讓蜘蛛來抓取，這樣就可以做到兩全其美咯。