在做網站之前,我遇到了這樣一個問題:網站改版后,留下了很多死鏈接。為了不讓百度收錄這些頁面,設置了404個頁面。但后來發現,這404頁仍被百度收錄,并多次向百度提交死鏈接,但仍沒有改善。有人說這是百度的問題,很多人都遇到過這種情況。如果這樣的問題屬于一個比較小的網站,可能很難感受到影響,但是一旦網站規模比較大,死鏈接比較多,就會對網站本身產生影響,收錄權重、排名、流量。
在一些朋友的幫助下,404頁面的收錄問題終于解決了。這里也說一些離題,如果你的網站遇到暫時自己解決不了的問題,不妨和別人交流一下,相信有人能很快解決你這些難題。
我們都知道404頁面的一些基本規則,但是很少有人關注它。即使你發現了這些問題,你也不會走得更遠,因為你覺得問題不大。但是,如果任由這樣的漏洞存在,久而久之會吃到自己的果實,因此筆者建議作為站長,任何微妙的問題都應該有奮力追趕的動力。在這里,我將分享我對404頁面的一些新認識,并歡迎更多的朋友與我交流與合作。
在這個問題上,沒有達成共識。有人說404頁不收錄在內。404本身告訴搜索引擎和訪問者這個頁面已經不存在了。請繞道或轉到其他頁面。有些人認為404頁將被收錄在內。搜索引擎不會收錄404頁面,但有一個例外,即404設置的頁面被刪除后,百度會收錄。
404頁面包含的一個功能就是已經設置了404頁面,百度仍然放出來,可以檢索,但是快照沒有更新。
包含少量404頁面,或者你的站點本身沒有很多404頁面,就不會感覺到更大的危害。而對于那些建立時間長、發展迅速的網站來說,在龐大的數據下,必然會出現大量的死鏈接和錯誤鏈接。此時,您無法避免包含404頁的問題。讓我們來看看404頁的一些危害:
對于搜索引擎來說,一個URL就是一個頁面,一般來說,網站的404個頁面都是相同的設置,所以一旦搜索引擎蜘蛛抓到這些頁面,就會出現大量內容相同的頁面。可以想象,搜索引擎會處理你的網站。
影響其他頁面的收錄和權重,進而影響流量
蜘蛛的爬行次數和蜘蛛的爬行次數相對來說是多少次,影響網站的爬行次數。換句話說,蜘蛛在一段時間內抓取你網站的數據是有限的。假設蜘蛛在這404個頁面中浪費了資源,那么在網站中爬行真正有價值的頁面的數量就會減少。這404個頁面中,99%因為沒有價值而不被收錄,這將影響網站的收藏和網站的流量。
1、頁數少,可設置為404頁。404頁的狀態碼必須是404(未找到),這樣搜索引擎就會認為該頁無效,并從搜索結果中刪除該頁。
2、如果包含的頁面數量很大,考慮到網站的權重,可以設置301重定向來傳遞權重,但這也需要小心。