在08年鬧得沸沸揚揚的關于淘寶使用robots協議屏蔽百度蜘蛛的事件，想必有經歷過那個事件的人現在還記憶猶新，淘寶以有不良的商家會通過百度的進行競價排名或者搜索引擎優化的方式來欺騙消費著的原因，無情的拒絕了百度的搜索引擎，而通過的方法就是使用robots協議屏蔽百度。如下圖所示。
我們可以看到，淘寶已經在robots中拒絕了百度蜘蛛對整個站點的索引與收錄。事件已經過去四年左右了，那結果真的就是百度無法抓取淘寶的頁面嗎?事實是，百度并沒有遵守robots協議，還是對淘寶的部分頁面進行了抓取。如下圖所示。
上圖我們可以發現，淘寶的很多頁面還是依然被百度抓取著。對于百度為什么要不遵守robots協議，執意進行淘寶頁面的抓取呢?筆者認為這是一個戰略方向的問題，我們都知道目前淘寶是目前國內互聯網上最大的電子商務平臺，其起著舉足輕重的地位。我們繼續查了一下，在淘寶上出名的店鋪，如韓都衣舍在百度上也有不錯的排名。注意證明百度對與淘寶的關注度。同時我們發現淘寶近期才把名字改成天貓的淘寶商城同時也屏蔽了百度，如下圖所示。
結果是一樣的，天貓依然被抓取了。
對于這種結果的原因還有一點就是可能是因為天貓的權重太高，于是乎百度打破協議進行索引抓取。
另外一個不準守協議的就是一淘網，有關注電子商務站點資訊的人就應該知道，京東商城，新蛋網等也有通過robots進行對一淘網的屏蔽，如下圖所示。但是我們依然可以在一淘中找到這些站點的相關頁面。
筆者認為國內的互聯網目前還處于一個相對混亂的模式，很多企業都不遵守相關的協議，這是值得我們進行反思的，筆者認為作為一個互聯網的巨頭，應該從自我做起來起到一個互聯網行業的榜樣作用。本文由深圳網站建設http://www.zijiren.net 整理編輯，轉載請保留出處。
推薦閱讀
SEO優化，外鏈對于提升網站搜索排名的作用是顯著的, 傳統手工做外鏈效率低，又很累，介紹幾個快速增加網站外鏈接數量的方法。>>>詳細閱讀
地址：http://m.sdlzkt.com/a/34/20120224/33992.html
網友點評
精彩導讀
科技快報
品牌展示