我們做SEO優(yōu)化要經(jīng)常分析網(wǎng)站日志，網(wǎng)站日志的分析和診斷就像給網(wǎng)站看病一樣，我們通過網(wǎng)站日志的分析，可以更加清楚的知道網(wǎng)站的健康狀況，可以利于這些數(shù)據(jù)讓我們更好的做網(wǎng)站SEO優(yōu)化，今天?，嶴EO發(fā)包技術(shù)小編和大家分享下網(wǎng)站日志分析和診斷，如果有什么不對的地方，可留言提問大家一起探討交流!

網(wǎng)站日志又稱蜘蛛日志，它是成千上萬個“蜘蛛”小爬蟲程序每天爬行數(shù)千萬個網(wǎng)站，這個小爬蟲程序就是“蜘蛛”，它在網(wǎng)站爬行后留下的軌跡或痕跡就是“日志”。

常見的蜘蛛名稱：

Baiduspider;Baiduspider-Image;Googlebot;Googlebot-Image;360Spider;sogou spider。

一、網(wǎng)站日志的重要作用?

1、通過網(wǎng)站日志可以了解蜘蛛對網(wǎng)站的基本爬取情況，可以知道蜘蛛的爬取軌跡和爬取量，通過我們的網(wǎng)站日志，外鏈的多和少和網(wǎng)站蜘蛛的爬取量是有直接影響的，我們所說的鏈接誘餌就是如果你做了一個外鏈，蜘蛛在爬取這個外鏈頁面并把頁面放出來時，蜘蛛可以通過你留的這個鏈接來爬取你的網(wǎng)站，而網(wǎng)站日志正是會記錄下蜘蛛的這次爬取行動。

2、網(wǎng)站的更新頻率也和網(wǎng)站日志中蜘蛛抓取的頻率有關(guān)，一般來說更新頻率越高，蜘蛛的抓取頻率越高，而我們網(wǎng)站的更新不僅僅只是新內(nèi)容的添加同時還有我們的微調(diào)操作。

3、我們可以根據(jù)網(wǎng)站日志的反應(yīng)情況，對我們的空間的某些事情和問題提前進行預(yù)警，因為服務(wù)器如果出問題的話在網(wǎng)站日志中會第一時間反映出來，要知道服務(wù)器的穩(wěn)定速度和打開速度兩者都會直接影響我們的網(wǎng)站。

4、通過網(wǎng)站日志我們可以知道網(wǎng)站的那些頁面是很受蜘蛛歡迎的，而哪些頁面是蜘蛛連碰都不去碰的，同時我們還能發(fā)現(xiàn)有一些蜘蛛由于是過度爬取對我們的服務(wù)器資源損耗是很大的，我們要進行屏蔽工作。

二、如何下載日志及日志設(shè)置注意事項?

1、首先我們的空間要支持網(wǎng)站日志下載，這一點是很重要的，在我們購買空間之前必須要先問好支不支持網(wǎng)站日志下載，因為有的服務(wù)商是不提供這項服務(wù)的，如果支持的話空間后臺一般都有日志W(wǎng)ebLog日志下載這個功能把它下載到根目錄在用FTP傳到本地就可以，服務(wù)器的話可以設(shè)置將日志文件下載到指定路徑。

2、這里有個很重要的問題，網(wǎng)站日志強烈建議設(shè)置成每小時生成一次，小型的企業(yè)站和頁面內(nèi)容較少的網(wǎng)站可以設(shè)置成一天，它默認是一天，如果內(nèi)容多或者大型站設(shè)置成一天生成一次，那么一天只生成一個文件，這個文件會相當?shù)拇?，我們有時電腦打開是會造成死機，設(shè)置的話找空間商協(xié)調(diào)設(shè)置即可。

三、網(wǎng)站日志的分析。

1、日志的后綴名是log的我們用記事本打開，選擇格式里的自動換行這樣看起來方便，同時用搜索功能搜索BaiduSpider和Googlebot這兩個蜘蛛。

例如：

百度蜘蛛 2012-03-13 00：47：10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265

谷歌機器人 2012-03-13 08：18：48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31

我們分段來解釋

2012-03-13 00：47：10 蜘蛛爬取的日期和時間點;W3SVC177 這個是機器碼這個是惟一的 我們不去管它;116.255.169.37 這個IP地址是服務(wù)器的IP地址;GET 代表事件，GET后面就是蜘蛛爬取的網(wǎng)站頁面，斜杠就代表首頁，80 是端口的意思，220.181.51.144 這個IP則是蜘蛛的IP，這里?，嶴EO快排發(fā)包技術(shù)小編告訴大家一個鑒別真假百度蜘蛛的方法，我們電腦點擊開始運行輸入cmd打開命令提示符，輸入nslookup空格加蜘蛛IP點擊回車，一般真百度蜘蛛都有自己的服務(wù)器IP而假蜘蛛則沒有。

如果網(wǎng)站中出現(xiàn)了大量的假蜘蛛則說明有人冒充百度蜘蛛來采集你的內(nèi)容，你就需要注意了，如果太猖獗那會很占用你的服務(wù)器資源，我們需要屏蔽他們的IP.

200 0 0這里是狀態(tài)碼 狀態(tài)碼的意思可以在百度里搜索下;197 265最后兩個數(shù)字則代表著訪問和下載的數(shù)據(jù)字節(jié)數(shù)。

2、我們分析的時候先看看狀態(tài)碼 200代表下載成功，304代表頁面未修改，500代表服務(wù)器超時，這些是一般的其他代碼可以百度一下，對于不同的問題我們要處理。

3、我們要看蜘蛛經(jīng)常爬取哪些頁面，我們要記錄下來，分析他們?yōu)槭裁磿?jīng)常被蜘蛛爬取，從而分析出蜘蛛所喜歡內(nèi)容。

4、有時候我們的路徑不統(tǒng)一出現(xiàn)帶斜杠和不帶斜杠的問題，蜘蛛會自動識別為301跳轉(zhuǎn)到帶斜杠的頁面，這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的，所以我們要對我們的目錄進行統(tǒng)一。

5、我們分析日志分析時間長了，我們能夠看出蜘蛛的抓取規(guī)律，同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來，這些抓取頻率間隔時間是蜘蛛根據(jù)網(wǎng)站權(quán)重和網(wǎng)站更新頻率來自動確定的。

6、蜘蛛對于我們的頁面的抓取是分等級的，是根據(jù)權(quán)重依次遞減的，一般順序為首頁、目錄頁、內(nèi)頁。

7、不同IP的蜘蛛他們的抓取頻率也是不相同的

四、那么通過網(wǎng)站日志我們能知道什么?

1、我們發(fā)的外鏈是否起到效果?

2、我們買的空間是否能夠穩(wěn)定?

3、蜘蛛對我們的那些頁面比較喜歡而對哪些不喜歡?

4、蜘蛛什么時候抓取我們的網(wǎng)站頻繁，我們需要什么時候更新內(nèi)容?

總結(jié)：

所以不管是新站還是老網(wǎng)站，不管你做百度還是Google我們都能通過網(wǎng)站日志分析出來搜索引擎蜘蛛抓取的情況;如果網(wǎng)站長時間收錄有問題，那么我們也可以對比網(wǎng)站日志中的搜索引擎蜘蛛行為，來了解網(wǎng)站是哪方面出了問題;如果網(wǎng)站被封，或者被K，我們都可以通過觀察網(wǎng)站日志的情況來了解原因出在什么地方。我們要看的網(wǎng)站日志的分析和診斷就像給網(wǎng)站看病一樣，我們通過網(wǎng)站日志的分析，可以簡單明了的就知道網(wǎng)站的健康狀況，可以利于我們更好的做網(wǎng)站優(yōu)化，所以對于真正的SEO高手而言，分析蜘蛛日志是最直觀，最有效的額。