它是一個程序，夜以繼日得在互聯網上找尋新的URL，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。

     百度用來抓取網頁內容的程序，叫做Baiduspider，抓取其他內容的蜘蛛，則是新的名字：

     產品名稱                 對應user-agent

     網頁搜索                Baiduspider

     無線搜索                Baiduspider-mobile

     圖片搜索                Baiduspider-image

     視頻搜索                Baiduspider-video

     新聞搜索                Baiduspider-news

     百度搜藏                Baiduspider-favo

     百度聯盟                Baiduspider-cpro

     不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在我們明白它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。