一般來說，讓搜索引擎捕獲和索引更多的內容往往是seo們頭疼的問題。沒有包容和索引，就談不上排名。特別是對于一個具有一定規模的網站來說，要使網站完全被收錄是一項相當費勁的SEO技術。比如，當頁面達到幾十萬個頁面時，無論網站架構如何設計和優化，都不可能包含網站，所以我們只能盡量提高包含率。

但有時，如何停止搜索引擎包括可能成為一個問題，越來越近。需要屏蔽的信息，如機密信息、復制內容、廣告鏈接等。過去，常用的防止包含的方法包括密碼保護、將內容隱藏在表單后面、使用JS/Ajax、使用flash等。

一、使用Flash

幾年來，搜索引擎一直試圖搶占flash內容。簡單的文本內容已經可以被抓取。flash中的鏈接也可以被跟蹤。

二，形式

搜索引擎蜘蛛還可以填寫表單和獲取post請求頁面。這可以在日志中看到。

三、JS/Ajax

使用JS鏈接一直被認為是一種對搜索引擎不友好的方法，因此可以防止蜘蛛爬行。但兩三年前，我看到JS鏈接無法阻止搜索引擎蜘蛛爬行。不僅會對JS中出現的url進行爬網，還可以執行簡單的JS來查找更多的url。

六種提升網站訪問速度的技巧

日前，人們發現，許多網站使用的Facebook評論插件中的評論被抓取并包含在內。插件本身是一個Ajax。這是個好消息。我的一個實驗性電子商務網站的產品評論功能為此付出了很多努力。使用Facebook評論插件有很大的好處。具體的好處稍后會有時間來說明，較好的問題是審查是由Ajax實現的，無法捕獲，而產品審查是作為目的之一（生成原始內容）包括在內的。我想了很長一段時間，沒有一個解決方案，所以我不得不打開Facebook評論插件，打開購物車的評論功能。既然Facebook評論中的評論可以包含在內，就沒有兩套評論功能了。

四、robots文件

目前，確保內容不被包含的方法是禁止robots文件。但也有一個缺點，就是重量會減少，雖然內容不能包含在內，但頁面卻成了一個只接受鏈接重量而不流出重量的無底洞。

五、限制跟蹤

Nofollow不保證不包括在內。即使NF被添加到你網站上所有指向該頁面的鏈接中，你也不能保證其他網站不會獲得指向該頁面的鏈接。搜索引擎仍然可以找到這個頁面。

六、metanoindex+follow

為了防止集合轉移權重，我們可以在頁面上使用metaindex和metaflow，這樣頁面就不包括在內，而是可以流出權重。的確，這是一個更好的方法。還有一個問題，否則會浪費蜘蛛爬行的時間。

如何使網頁不被收錄是一個值得思考的問題。對于那些沒有意識到嚴重性的人員，你可以考慮在你的網站上有多少重復的內容、低質量的內容、各種各樣的非搜索值分類和過濾網址。