百度一下才發(fā)現(xiàn)，原本名目為Sitemap: http://www.***.com/sitemap.html，雖然這個操作很簡單，但如不美觀沒有robots工具的輔助，你可能長時刻也不會發(fā)現(xiàn)這個問題。

　　seo優(yōu)化的手藝口角不僅僅在于內(nèi)容和外鏈上，更主要的是一些細節(jié)上的措置，因為內(nèi)容和外鏈相對來說需要把握的要點不是良多，而且易于操作、輕易理解;而網(wǎng)站優(yōu)化的其他一些細節(jié)措置，相對來說日常平常接觸的少，對于這些體味的也很少，真正要措置勢的暌滾到良多問題，好比seo優(yōu)化常規(guī)的404頁面的建造，301重定向的措置，robots的一個建樹等，對于網(wǎng)站來說都是不成或缺的一部門。

　　下面來說說robots，首先它是一個和談，對于網(wǎng)站的抓取取到主要浸染，建樹robots的意義在于它可以讓蜘蛛聽年夜呼吁年夜命放置，解決了網(wǎng)站的一些隱私和不需要抓取的頁面，同時也可以強調(diào)某一部門必需抓取。robots看似一個很是簡單的操作，但日常平常如不美觀沒有太注重或多操作，你寫的robots未必就是正確的，因為瑯縵沔涉及到一些指令，沒有寫對可能會影響網(wǎng)站的抓取。

　　百度站長平臺推出了robots工具(http://zhanzhang.baidu.com/robots)，只要注冊下，認證下網(wǎng)站就ok了，它可以很好的磨練你的robots寫的是否正確，該工具可以檢測您的網(wǎng)站是否有robots.txt文件，及robots.txt文件內(nèi)容,并能按照您的需求生成正確的robots.txt文件，為robots文件的建造起到了很年夜的輔佐。

　　經(jīng)由過程網(wǎng)站驗證后，你可以肆意測試網(wǎng)站，看該是否有建造robots，如不美觀有它會一一列出你網(wǎng)站設(shè)置的情形，好比侍趵砟件有抓取，侍趵砟件被屏障了，一目了然，而且提醒是否有錯誤的處所;而沒做robots和談的，他也會提醒：“您的網(wǎng)站沒有robots.txt文件，暗示您許可搜索引擎可以抓取您網(wǎng)站全數(shù)的內(nèi)容”。如圖所示(chinaz的robots檢測結(jié)不美觀)：

　　二、可以檢測到網(wǎng)站robots是否正確

　　良多伴侶都是想當然，認為robots書寫很簡單，真正測試一下就會發(fā)現(xiàn)是錯誤的。在robots添加網(wǎng)站地圖相信是巨匠都很熟悉的，首要目的是讓搜索引擎蜘蛛順遂抓取網(wǎng)站地圖，屏障蜘蛛是用Disallow，許可抓取時用Allow，想當然良多站長為了讓蜘蛛抓取網(wǎng)站，直接把網(wǎng)站地圖界說為：Allow： http://www.***.com/sitemap.html，結(jié)不美觀檢測一下原本是錯誤的，如圖：

　　一、可以檢測到網(wǎng)站是否有robots文件

　　三、按你的需求生成正確的robots.txt文件

　　如不美觀你不懂若何建造robots文件，瑯縵沔有很具體的內(nèi)容介紹，搜羅robots的概念、若何建造等，操作表格的形式一一列出來，而且還有多方面的例子，比起百度百科要清楚了然的多，體味了概念后，當然就是手動建造了，它能夠很好的按照你的設(shè)法一生平成內(nèi)容，好比你不想讓建造抓取聯(lián)系我們這個頁面，你就可以直接在膳縵沔操作：

　　完成后只需要將文件下載下來，放到網(wǎng)站的根目錄就年夜功樂成了，感受是不是比看百度百科要清楚了然的多了?此外良多操作的細節(jié)操作百度是沒法子解決的，事實?下場網(wǎng)站上的內(nèi)容或者不雅概念良多都是有誤的，只能好好操作百度官方的工具步崆最好的!文章由淘寶網(wǎng)上岸 http://jyxxjc.com 小編原創(chuàng)，轉(zhuǎn)載請加上文章中鏈接，感謝合作。