一、HTTP的錯誤

　　“抓取錯誤”是 Google網站打點員工具(Webmaster Tools)中最受接待的工具之一。它可以輔佐你搜檢錯誤的鏈接，不僅僅是URL鏈接，還劣行DNS解析失蹤敗、處事器鏈接、robots.txt 文件等問題，幾乎所有網站城市呈現狀取錯誤。

　　網 站站長工具將錯誤分為兩類：網站錯誤(site errors)和鏈接地址錯誤(URL errors)。如不美觀在一個網站上呈現多個抓取錯誤，那么你的網站信賴度會下降，甚至會影響到排名，當然這工具對于百度優化同樣有用。那么理當若何解決 Google網站打點員工具的抓取錯誤呢。

　　經由過程Googlebot抓取的錯誤分類就看知道是什么導致抓取錯誤的原因了。

　　當一個網站上的網頁(例如，當用戶在瀏覽器中訪謁您的網頁或Googlebot抓取頁面時)到您的處事器發出請求，處事器返回HTTP狀況碼響應請求。

　　如不美觀呈現403狀況，可以不用理睬，這剖明是你的主機阻止了Googlebot抓取。對于所有HTTP狀況碼的列表文件，可以參考Google HTTP狀況碼輔佐頁面。

　　2：改變了網頁的名稱;

　　二、Sitemap中的錯誤

　　Sitemap錯誤往往會造成404錯誤頁面，或在當前地圖返回一個404錯誤頁面，如不美觀呈現404錯誤頁面請搜檢Sitemap中所有的鏈接，

　　Google會不竭抓取你已山河除的Sitemap，這點很郁悶，但也有法子解決：確保舊的Sitemap已經在打點員工具中被刪除。如不美觀不想被抓取，確保舊Sitemap呈現404或者年夜頭定向到新的Sitemap。

　　來自Google員工Susan Moskwa詮釋道：

　　阻止Googlebot的爬行，最好的法子是使這些網址(例如舊的sitemaps)呈現404，當我們看到一個URL多次呈現404后，Googlebot會遏制爬行。

　　三、重定向錯誤

　　1：DNS超時，可以使用Nslookup 呼吁檢測DNS，呈現DNS超時最年夜的身分是域名處事商的DNS處事器不不變。

　　有些錯誤是因為301年夜定向引起的，執行重定向后要注重什么：

　　1：確保他們返回到正確的HTTP狀況碼。

　　2：確保沒有任何輪回重定向。

　　3：確保重定向指向有用的網頁，而不是404頁，或其他錯誤頁，如503(處事器錯誤)或403(禁止抓取)

　　4：確保重定向不是指向一個空頁面。

　　四、404錯誤

　　404錯誤可能會呈此刻以下幾個方面：

　　1：刪除了網站上的網頁;

　　4：鏈接到了一個不存在的頁面;

　　5：其他網站鏈接到你網站上一個不存在的頁面;

　　6：網站遷移到一個新的域名不完全匹配的網站。

　　五、受robots.txt限制

　　還有一個原因是robots.txt文件阻止了Googlebot的抓取，如不美觀呈現年夜量抓取錯誤，第一步應該搜檢robots.txt

　　六、軟404錯誤

　　通 常情形下，當有人請求的頁面不存在，處事器將返回一個404(未找到)錯誤。除了在響應請求的頁面不存在返回404代碼，處事器也將顯示一個404頁。 這可能是一個尺度的“未找到文件”的動靜，或旨在供給更多信息的用戶，它可能是一個自界說頁面。 頁的內容是由處事器返回的HTTP響應完全無關。僅僅因為一個頁面顯示404文件未找到動靜并不意味著它是一個404頁。

　　七、超時

　　2：網址超時，在某一個特定頁面，而不是整個域的錯誤。

　　3：robots.txt超時，如不美觀你網站有robots.txt，但處事器超時，Googlebot會假定該文件不存在。

　　網站超時也是呈現狀取錯誤的原因之一，如不美觀呈現超時現象，Googlebot會遏制抓取。超時的錯誤類型有：

　　4：動態網頁的響應時刻過長而造成網頁載入時刻過長。

　　文章來歷：盧松松博客 本文地址：http://lusongsong.com/reed/479.html