怎么查看百度蜘蛛是否到過(guò)你的網(wǎng)站，每天來(lái)的次數(shù)是多少，怎么樣通過(guò)日志來(lái)分析蜘蛛爬蟲是否來(lái)過(guò)，如果看完下面還不明白請(qǐng)聯(lián)系我們技術(shù)支持
萬(wàn)網(wǎng)是國(guó)內(nèi)比較大的網(wǎng)站空間服務(wù)商，在北京網(wǎng)站制作市場(chǎng)占有很大比例，那么下面我們以萬(wàn)網(wǎng)空間為例：
來(lái)了解一下這個(gè)問(wèn)題，首先到ftp中下載名字為wwwlogs中的日志文件，如果你的空間沒(méi)有這個(gè)文件夾，那么要到控制面板里面設(shè)置一下
具體方法是：登錄控制面板-->申請(qǐng)統(tǒng)計(jì)報(bào)告這樣就可以了

然后到wwwlogs文件夾中下載當(dāng)天的日志看擴(kuò)展名為.log.gz
打開(kāi)或會(huì)發(fā)現(xiàn)

得到的大概是這中東西
(KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised image/jpeg "/usr/home/hmu162155/htdocs/images/pic03.jpg"
219.142.245.89 - - [27/Apr/2013:17:08:36 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /myfolder/ HTTP/1.1" 404 207 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/myfolder"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /jsidjid HTTP/1.1" 404 205 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/jsidjid"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /favicon.ico HTTP/1.1" 404 209

我們來(lái)分析一下
123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。

220.181.68.*每天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站。

220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。

121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。

203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后。

210.72.225.*這個(gè)ip段不間斷巡邏各站。

125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多，還有使用過(guò)站長(zhǎng)工具，或SEO綜合檢測(cè)造成的。

220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP，如是220.181.108段的話，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照，絕對(duì)錯(cuò)不了的，我保證。

220.181.108.92同上98%抓取首頁(yè)，可能還會(huì)抓取其他(不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

123.125.71.106抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他，屬于權(quán)重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%，8%抓取首頁(yè)，2%其他。權(quán)重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.86專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

123.125.71.95抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

123.125.71.97抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

220.181.108.89專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.94專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.97專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.80專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.77專用抓首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

123.125.71.117抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

220.181.108.83專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。

220.181.108.*段IP主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的，這點(diǎn)我可以保證



How to check whether the Baidu spider to your site, to the number of times every day, how log analysis to spiders, if after reading the following do not understand, please contact our technical support