網站日志，百度百科的定義是“網站日志是記錄各種原始信息的文件，如web服務器的接收和處理請求以及運行時錯誤等。具體來說，應該是一個服務器日志，“做百度排名優化大家都知道，網站日志對網站排名有著重要的指導意義，做好優化工作離不開網站（服務器）日志。網站日志記錄了完整的網站運行信息，主要包括訪客信息（如訪客IP、使用何種瀏覽器、操作系統、訪問時間等）、蜘蛛對網站的抓取（抓取哪個目錄、抓取哪個蜘蛛等）、操作錯誤信息（主要看一些http狀態碼）。這么多陌生的數字串有什么信息？我們需要關注的***是什么？

一、抓蜘蛛

1、哪些蜘蛛來訪問每個搜索引擎都會有自己的抓取程序，我們稱之為蜘蛛。每個蜘蛛也有自己的代碼。在網站日志中，檢查主流蜘蛛是否訪問網站。如果沒有，可能會被網站屏蔽。您可以檢查網站的robots文件設置。

二、對哪些目錄進行爬網，統計蜘蛛對網站目錄的爬網情況，各級網站目錄的爬網是否正常，一些需要提升的目錄是否有爬網，如果沒有，則需要調整網站的內部鏈或增加外部鏈，提高柱重，引導蜘蛛爬行。此外，蜘蛛可能會抓取一些沒有意義的目錄，例如我們不想讓搜索引擎知道的信息，然后我們可以阻止這些目錄。

三、哪些頁面被爬網以統計蜘蛛對網站頁面的爬網？通過一段時間的觀察，你會發現一些蜘蛛經常爬行的頁面，分析蜘蛛為什么喜歡這些頁面，這些頁面和其他頁面有什么區別，以及其他頁面是否可以作為參考。另外，通過對網頁抓取情況的分析，也可以了解到網站存在的一些問題，如重復頁面問題、URL規范化問題等。

百度排名優化離不開網站（服務器）日志工具

四、蜘蛛的訪問次數、停留時間和抓取量蜘蛛經常訪問網站，說明他們喜歡網站，經常來看網站內容是否更新，這對網站是一件好事。如果十天半只有一次，網站的內容可能需要更頻繁地更新。此外，還應該添加一些額外的鏈來引導蜘蛛訪問網站。停留時間的長短可以反映蜘蛛對網站的喜好需要注意的是，如果停留時間長，但爬行量低，就會出現問題，這可能是蜘蛛爬行網站內容的困難或網站內容的質量低造成的。只有把這三個指標綜合起來，我們才能得到更有價值的信息。

1、HTTP狀態碼主要集中在404、500、302等。404不用說，盡量定期組織死鏈接并提交給網站管理員平臺。如果500經常發生，可能是服務器的問題，比如內容太多，服務器不能滿足需要，超負荷運行，就會出現超時、無法訪問的情況。302是臨時重定向。這取決于問題是什么。搜索引擎更喜歡301。如果可以的話，打301。

五、通過日志分析，及時了解網站是否安全。當然，我們在網站的日志分析中看到的并不像看上去那么簡單。