一、HTTP的錯(cuò)誤

　　“抓取錯(cuò)誤”是 Google網(wǎng)站打點(diǎn)員工具(Webmaster Tools)中最受接待的工具之一。它可以輔佐你搜檢錯(cuò)誤的鏈接，不僅僅是URL鏈接，還劣行DNS解析失蹤敗、處事器鏈接、robots.txt 文件等問(wèn)題，幾乎所有網(wǎng)站城市呈現(xiàn)狀取錯(cuò)誤。

　　網(wǎng) 站站長(zhǎng)工具將錯(cuò)誤分為兩類：網(wǎng)站錯(cuò)誤(site errors)和鏈接地址錯(cuò)誤(URL errors)。如不美觀在一個(gè)網(wǎng)站上呈現(xiàn)多個(gè)抓取錯(cuò)誤，那么你的網(wǎng)站信賴度會(huì)下降，甚至?xí)�影響到排名，�?dāng)然這工具對(duì)于百度優(yōu)化同樣有用。那么理當(dāng)若何解決 Google網(wǎng)站打點(diǎn)員工具的抓取錯(cuò)誤呢。

　　經(jīng)由過(guò)程Googlebot抓取的錯(cuò)誤分類就看知道是什么導(dǎo)致抓取錯(cuò)誤的原因了。

　　當(dāng)一個(gè)網(wǎng)站上的網(wǎng)頁(yè)(例如，當(dāng)用戶在瀏覽器中訪謁您的網(wǎng)頁(yè)或Googlebot抓取頁(yè)面時(shí))到您的處事器發(fā)出請(qǐng)求，處事器返回HTTP狀況碼響應(yīng)請(qǐng)求。

　　如不美觀呈現(xiàn)403狀況，可以不用理睬，這剖明是你的主機(jī)阻止了Googlebot抓取。對(duì)于所有HTTP狀況碼的列表文件，可以參考Google HTTP狀況碼輔佐頁(yè)面。

　　2：改變了網(wǎng)頁(yè)的名稱;

　　二、Sitemap中的錯(cuò)誤

　　Sitemap錯(cuò)誤往往會(huì)造成404錯(cuò)誤頁(yè)面，或在當(dāng)前地圖返回一個(gè)404錯(cuò)誤頁(yè)面，如不美觀呈現(xiàn)404錯(cuò)誤頁(yè)面請(qǐng)搜檢Sitemap中所有的鏈接，

　　Google會(huì)不竭抓取你已山河除的Sitemap，這點(diǎn)很郁悶，但也有法子解決：確保舊的Sitemap已經(jīng)在打點(diǎn)員工具中被刪除。如不美觀不想被抓取，確保舊Sitemap呈現(xiàn)404或者年夜頭定向到新的Sitemap。

　　來(lái)自Google員工Susan Moskwa詮釋道：

　　阻止Googlebot的爬行，最好的法子是使這些網(wǎng)址(例如舊的sitemaps)呈現(xiàn)404，當(dāng)我們看到一個(gè)URL多次呈現(xiàn)404后，Googlebot會(huì)遏制爬行。

　　三、重定向錯(cuò)誤

　　1：DNS超時(shí)，可以使用Nslookup 呼吁檢測(cè)DNS，呈現(xiàn)DNS超時(shí)最年夜的身分是域名處事商的DNS處事器不不變。

　　有些錯(cuò)誤是因?yàn)?01年夜定向引起的，執(zhí)行重定向后要注重什么：

　　1：確保他們返回到正確的HTTP狀況碼。

　　2：確保沒(méi)有任何輪回重定向。

　　3：確保重定向指向有用的網(wǎng)頁(yè)，而不是404頁(yè)，或其他錯(cuò)誤頁(yè)，如503(處事器錯(cuò)誤)或403(禁止抓取)

　　4：確保重定向不是指向一個(gè)空頁(yè)面。

　　四、404錯(cuò)誤

　　404錯(cuò)誤可能會(huì)呈此刻以下幾個(gè)方面：

　　1：刪除了網(wǎng)站上的網(wǎng)頁(yè);

　　4：鏈接到了一個(gè)不存在的頁(yè)面;

　　5：其他網(wǎng)站鏈接到你網(wǎng)站上一個(gè)不存在的頁(yè)面;

　　6：網(wǎng)站遷移到一個(gè)新的域名不完全匹配的網(wǎng)站。

　　五、受robots.txt限制

　　還有一個(gè)原因是robots.txt文件阻止了Googlebot的抓取，如不美觀呈現(xiàn)年夜量抓取錯(cuò)誤，第一步應(yīng)該搜檢robots.txt

　　六、軟404錯(cuò)誤

　　通 常情形下，當(dāng)有人請(qǐng)求的頁(yè)面不存在，處事器將返回一個(gè)404(未找到)錯(cuò)誤。除了在響應(yīng)請(qǐng)求的頁(yè)面不存在返回404代碼，處事器也將顯示一個(gè)404頁(yè)。 這可能是一個(gè)尺度的“未找到文件”的動(dòng)靜，或旨在供給更多信息的用戶，它可能是一個(gè)自界說(shuō)頁(yè)面。 頁(yè)的內(nèi)容是由處事器返回的HTTP響應(yīng)完全無(wú)關(guān)。僅僅因?yàn)橐粋�(gè)頁(yè)面顯示404文件未找到動(dòng)靜并不意味著它是一個(gè)404頁(yè)。

　　七、超時(shí)

　　2：網(wǎng)址超時(shí)，在某一個(gè)特定頁(yè)面，而不是整個(gè)域的錯(cuò)誤。

　　3：robots.txt超時(shí)，如不美觀你網(wǎng)站有robots.txt，但處事器超時(shí)，Googlebot會(huì)假定該文件不存在。

　　網(wǎng)站超時(shí)也是呈現(xiàn)狀取錯(cuò)誤的原因之一，如不美觀呈現(xiàn)超時(shí)現(xiàn)象，Googlebot會(huì)遏制抓取。超時(shí)的錯(cuò)誤類型有：

　　4：動(dòng)態(tài)網(wǎng)頁(yè)的響應(yīng)時(shí)刻過(guò)長(zhǎng)而造成網(wǎng)頁(yè)載入時(shí)刻過(guò)長(zhǎng)。

　　文章來(lái)歷：盧松松博客 本文地址：http://lusongsong.com/reed/479.html