網站鏈接可以點擊打開頁面,但是網站日志中爬蟲顯示為死鏈接(如何發現網站死鏈,請查看下載死鏈檢測工具:死鏈檢測工具Xenu)。
【詳述】:死鏈產生的原因是:因為友鏈頁面上線時候,程序員沒加內容,自動返回404了,而且是網站每個頁面底下都會出現,才會出現這么多死鏈接。但是及時處理之后,還會有爬蟲爬的結果是死鏈,我正常點擊是沒問題的,不知道為啥?重要的是我現在能做些什么挽救下嗎?
網站死鏈
【解決方案】:根據我的經驗,這個時間僅作為參考吧,畢竟無法考證。(日志里看不到蜘蛛在這個時間對死鏈URL的抓取)我猜測中間流程是這樣的:(如何處理死鏈,seo大神分享死鏈解決方案教你如何處理預防網站死鏈)
(1)蜘蛛抓取了死鏈前鏈URL,緩存到百度的頁面庫中;
(2)蜘蛛發現死鏈URL返回了404,并且持續一段時間訪問,依然返回404(用于判斷該頁面是否為臨時404,當持續返回404次數到一定閾值后,不再訪問,認定該URL是死鏈),將該URL納入死鏈庫;
(3)抓取導出了死鏈的頁面,判斷這些頁面上是否依然導出了死鏈,如果依然導出,則記錄該次抓取時間;
(4)注意,第三步,可能只會抓取死鏈前鏈的頁面,不會再對死鏈URL進行抓取(即使死鏈URL現在已經好了,但沒能在短時間內正常返回狀態碼/頁面信息,所以不會再被抓取);
【死鏈對網站的影響】盡量從程序上嚴謹地進行設計,死鏈問題雖小,但可能會因為出現的時間長、范圍廣,而影響到整體網站的表現具體為:
(1)導出死鏈的頁面,評分會受到影響(如果有多數頁面,因為導出死鏈而在頁面評級層面從高質>一般>低質進行轉變的話,對整個網站也是一種損失);
(2)如果經常導出死鏈,可能會使網站的內容質量受到懷疑(特別是使用了頁面提交的情況下,可能會使得搜索引擎分配給網站的資源配額降低。
綜合起來,死鏈這個問題還是要嚴格控制的。試想一下,頁面導出黑鏈、垃圾頁面、低質量頁面,就已經夠頁面受的了,導出讓搜索引擎根本無法識別的頁面,搜索引擎會喜歡嗎?