網站假設選用的是虛擬空間，那么都會有必定的流量約束，假設大部分的流量都被蜘蛛所占有，那么咱們就需求額定花費一些錢去購買流量了。那么假設一個網站許多流量都是蜘蛛抓取所糟蹋的，有哪些技巧和辦法能夠約束而不影響查找引擎優(yōu)化作用呢?數字商圈以為，咱們能夠選用以下幾種辦法:  

1，找出虛偽蜘蛛進行IP屏蔽。

經過網站日志剖析，咱們能夠知道其實許多所謂的百度spider或谷歌spider其實都是假的，咱們能夠經過解分出這些虛偽蜘蛛的IP進行屏蔽，這樣不只能夠節(jié)約流量也能夠削減網站被收集的危險。詳細操作中需求反查出IP是不是真蜘蛛，操作辦法為:點擊左下角的開端-運轉-CMD-輸入指令nslookupip回車就能夠看到成果了。假設是真的查找蜘蛛都有一個蜘蛛符號，而假的蜘蛛卻沒有符號。  

2，屏蔽無效的蜘蛛或對查找引擎優(yōu)化作用小的查找蜘蛛。

比方咱們知道谷歌蜘蛛是抓取量十分大，可是關于許多職業(yè)來說谷歌的流量很低，查找引擎優(yōu)化作用并欠好，因而能夠進行屏蔽谷歌蜘蛛的抓取而節(jié)約許多的流量，例如美麗說網站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外，還有一些蜘蛛比方的盤古查找、bing蜘蛛等，這些流量都十分低的，或許幾乎沒有太大作用的蜘蛛其實都能夠屏蔽掉。  

3，用robots約束無效頁面或重復頁面的抓取。

有一些頁面可能曾經存在可是現在沒有了，或許是存在動態(tài)與靜態(tài)的URL一同存在，因為存在反向鏈接或數據庫內有這樣的鏈接，蜘蛛仍舊會不時進行抓取，咱們能夠找出回來404頁面的URL，把這些URL都給屏蔽掉，這樣既進步了抓取屏蔽也削減了流量糟蹋。  

上圖為：控制蜘蛛抓取網站抓取頁面

4，約束頁面的抓取內容來進步抓取功率與抓取速度，削減抓取流量。

關于任何一個頁面來說，都有許多無效的噪音區(qū)，比方一個網站的登錄、注冊部分、下面的版權信息和一些協(xié)助性的鏈接導航等，或一些模板上存在一些無法被蜘蛛辨認的展現模塊等，這些咱們都能夠選用加Noffollow標簽或ajax、JS等辦法進行約束或屏蔽抓取，削減抓取量。  

5，外部調用或cdn加速來進步蜘蛛的抓取，削減服務器的響應和流量糟蹋。

現在的網站大多選用許多的圖片、視頻等多媒體來展現，而這些圖片缺需求較多的下載流量，假設咱們把圖片選用外部調用的辦法，那么就能夠節(jié)約許多的蜘蛛抓取流量。現在比較好的辦法有把圖片放在其他的服務器或上傳到一些網盤上都能夠。  

6，使用站長東西約束或進步蜘蛛的抓取，或許約束蜘蛛抓取的時刻。

現在百度站長渠道和谷歌站長渠道都有站長抓取的東西，能夠用來約束蜘蛛抓取的時刻和抓取量，咱們能夠依據需求進行合理分配，到達的作用。  

當然在實踐中咱們也能夠依據本身實踐需求來處理，比方能夠對一些抓取量過大的欄目在sitemap設置較低的抓取頻率、對一些重要的內容假設錄入欠好的話也能夠添加外鏈或內鏈來進步抓取等，辦法是死的，咱們能夠依據詳細的續(xù)期去進行合理化的設置，來到達更少的抓取而更高的抓取功率。