近期筆者對(duì)年夜約50多位剛年夜事或已經(jīng)年夜事1-2年的seoer做了個(gè)小發(fā)芽拜訪(fǎng)，其中搜羅良多面試者，真正在工作中能剖析到日志的seoer比例很是很是的少，在問(wèn)到訪(fǎng)謁日志在seo所起到的浸染，良多seoer都直搖頭，或者僅僅知道一些皮短處未親手操作過(guò)，其首要原因仍是在公司平臺(tái)中并文暌剮機(jī)緣去實(shí)踐，下面筆者分享下自己對(duì)網(wǎng)站原始訪(fǎng)謁日志的熟悉：
什么是訪(fǎng)謁日志
網(wǎng)站訪(fǎng)謁日志是記實(shí)web處事寡領(lǐng)受措置請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各類(lèi)原始信息的以.log結(jié)尾的文件，切當(dāng)?shù)闹v，應(yīng)該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶(hù)在什么IP、什么時(shí)刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辯率顯示器的情形下訪(fǎng)謁了你網(wǎng)站的哪個(gè)頁(yè)面，是否訪(fǎng)謁成功。
什么時(shí)辰我們需要去剖析日志及日志特征
我們會(huì)天天都去剖析日志嗎?不會(huì)的，因?yàn)槿罩酒饰龆穭潘腊澹话愣际敲吭禄蛘甙朐缕饰鲆淮巍＿@種剖析屬于日常剖析，如不美觀(guān)您的網(wǎng)站一向都斗勁正常那可以每月剖析一次，或者可以簡(jiǎn)單的剖析一次。
其實(shí)日志更多是在網(wǎng)站呈現(xiàn)異常的時(shí)辰，會(huì)不雅察看半個(gè)月日志，集平剖析蜘蛛的動(dòng)向。好比會(huì)剖析是不是網(wǎng)站404，robots設(shè)置異常或者掛馬等問(wèn)題造成蜘蛛消逝蹤，逐兒去查找解決問(wèn)題。
下面是年夜筆者日常剖析的日志中取的一條訪(fǎng)謁記實(shí)：
119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
119.254.22.200 為用戶(hù)訪(fǎng)謁ip
10/Apr/2012:00:04:54 +0800 為訪(fǎng)謁日期 -時(shí)區(qū)
GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個(gè)頁(yè)面(GET暗示處事器動(dòng)作)
200 處事器響應(yīng)狀況碼
25269 為頁(yè)面字節(jié)數(shù)。
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。
注重：任何蜘蛛都僅僅為網(wǎng)站的通俗用戶(hù)。不要覺(jué)得蜘蛛很是的強(qiáng)年夜，良多人還認(rèn)為網(wǎng)站若禁止登錄查看內(nèi)容，蜘蛛都能爬取上岸后的頁(yè)面內(nèi)容，這是不成能的。除非網(wǎng)站做了蜘蛛專(zhuān)屬手段。
怎么去剖析網(wǎng)站訪(fǎng)謁日志
曾記得在幾年前，筆者剛接觸seo的時(shí)辰，工具稀少的年月，標(biāo)識(shí)表記標(biāo)幟一向都喜歡手工
去剖析訪(fǎng)謁日志，當(dāng)然手工剖析很費(fèi)時(shí)吃力，再這里只講解下筆者最喜歡手工剖析日志中的幾點(diǎn)。
筆者此刻手工剖析一般都集中在研究每日蜘蛛在網(wǎng)站上爬行紀(jì)律與網(wǎng)站更新數(shù)據(jù)之間的關(guān)系。當(dāng)然每個(gè)網(wǎng)站需按照自己來(lái)不雅察看，最后會(huì)有一個(gè)很是完美的紀(jì)律。
筆者會(huì)把每日的蜘蛛訪(fǎng)謁時(shí)刻按時(shí)刻段排序統(tǒng)計(jì)成報(bào)表，
好比：2012-4-18 1-2點(diǎn)爬行5次
2-3點(diǎn)爬行3次
3-4點(diǎn)爬行10次
如不美觀(guān)你細(xì)心的話(huà)可以做個(gè)走勢(shì)圖就很是直不美觀(guān)。這種統(tǒng)計(jì)一般都是在網(wǎng)站剛成立后和網(wǎng)站出異常后增強(qiáng)剖析日志，日常運(yùn)營(yíng)中，更多注重的是剖析出蜘蛛每日的爬行紀(jì)律然后按時(shí)的放出充量文章，增添收錄。
手工剖析日志都是斗勁死板的，有時(shí)會(huì)影響神色，不外此刻工具興旺的年月，我們也借助工具來(lái)達(dá)到事半功倍。
筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡(jiǎn)單，筆者不在此演示，有樂(lè)趣的自己百度，它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常，與頁(yè)面抓取痕跡。好比404. 獨(dú)一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀(jì)律生成走勢(shì)圖的工具。
注重：在日志剖析中，良多時(shí)辰我們都是想年夜日志中尋找到問(wèn)題，以便改良我們的自身的問(wèn)題，所以需要出格關(guān)注404,301等狀況碼。
真假蜘蛛分辯
為什么會(huì)呈現(xiàn)真假蜘蛛，主若是因?yàn)榇丝绦畔⑴d旺，良多采集工具為不讓對(duì)方發(fā)現(xiàn)自己的痕跡都模擬蜘蛛的痕跡來(lái)下載數(shù)據(jù)源。所以會(huì)造成良多seoer誤認(rèn)為蜘蛛年夜量的抓取頁(yè)面卻發(fā)現(xiàn)收錄并未增添的現(xiàn)象。下面筆者告訴巨匠斗勁輕易辨當(dāng)真假蜘蛛和一些出格注重的處所。
1， 真蜘蛛
220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
這是筆者某網(wǎng)站的日志片段，我拿出ip，在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：
如上圖，若是百度蜘蛛，他會(huì)直接回顯百度的域名。
2， 假蜘蛛
假蜘蛛斗勁經(jīng)典的就是chinaz的發(fā)芽工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未呈現(xiàn)百度域名。有樂(lè)趣的可以nslookup 125.90.88.96下，筆者就一直圖了。
一般假蜘蛛的存在形式為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
看著跟真的一樣，唯獨(dú)ip就是貓膩！
3， 奸細(xì)作況的蜘蛛
1) cdn加速后，造成ip雜亂。
此類(lèi)情形呈現(xiàn)一般是網(wǎng)站在做了cdn加速后，再去查看apache處事器的訪(fǎng)謁日志的時(shí)辰發(fā)現(xiàn)良多蜘蛛的痕跡ip都很是的近似，如不美觀(guān)按照百度官方出的分辯手法nslookup ip 后必定為匿名，因?yàn)檫@些ip都是cdn節(jié)點(diǎn)ip，所以會(huì)造成曲解。若開(kāi)啟cdn后，蜘蛛現(xiàn)實(shí)訪(fǎng)謁次數(shù)一般都<=日志中蜘蛛總數(shù)值。
2) 百度匿名蜘蛛的存在性談判。
匿名蜘蛛？百度工程師lee一向強(qiáng)調(diào)百度蜘蛛是不會(huì)匿名去訪(fǎng)謁網(wǎng)站的，但筆者年夜網(wǎng)上查閱資料，加上筆者某個(gè)站的數(shù)據(jù)猜測(cè)，筆者認(rèn)為會(huì)有兩種情形:
第一種：假如真的存在匿名蜘蛛，這很較著與lee的話(huà)有悖。所以這點(diǎn)我們可以去辯證的去理解，假如存在，匿名蜘蛛會(huì)做什么，良多seoer包短文者都猜測(cè)可能會(huì)存在用此類(lèi)蜘蛛去驗(yàn)證網(wǎng)站是否對(duì)蜘蛛與用戶(hù)做了分歧的待遇。所以此種情形，做賊就不要心虛嘛，老誠(chéng)懇實(shí)做站吧。
推薦閱讀
信用卡非法套現(xiàn)約7成發(fā)生在第三方支付平臺(tái)
>>>詳細(xì)閱讀
本文標(biāo)題：<b>小蘇:由淺到深再談網(wǎng)站原始訪(fǎng)問(wèn)日志分析</b>
地址：http://m.sdlzkt.com/a/22/20120418/52246.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示