一、認(rèn)識robots文件

　　我們知道，robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的，什么是不可以被查看的，蜘蛛知道了這些以后，就可以將所有的精力放在被我們允許訪問的頁面上面，從而將有限的權(quán)重集中起來。

　　同時，我們還不能互略最重要的一點就是，robots.txt是搜索引擎訪問網(wǎng)站要查看的第一個文件。明白了這一點，我們就有必要，也可能針對這一條做一些文章。

　　二、將sitemap.xml寫入robots文件

　　前面提到了，robots.txt文件是搜索引擎中訪問網(wǎng)站要查看的第一個文件，那么，如果我們將sitemap.xml(網(wǎng)站地圖)文件地址寫入robots.txt文件里面，自然而然會被搜索引擎蜘蛛在第一時間發(fā)現(xiàn)，也增大了網(wǎng)站頁面被快速抓取和收錄的可能性。此種做法，對于新站作用明顯，對于大站更具有積極和現(xiàn)實的作用。

　　具體寫法示例如下：

　　所以，無論是新站還是老站，為了使得更多的頁面被搜索引擎抓取，有必要將sitemap.xml寫入robots.txt文件中。

　　三、Sitemap.xml文件的獲取

　　前面講了那么多，可能很多人還不是很明白，sitemap.xml文件究竟如何攻取呢?

　　給大家提供一個工具，也是谷歌官方推薦的sitemap.xml在線生成工具，http://www.xml-sitemaps.com/，大家可以根據(jù)里面的選項選擇適合自己網(wǎng)站的sitemap.xml生成樣式。生成sitemap.xml后，一般需要將該文件放置在根目錄下面即可。

　　綜上，把sitemap.xml地址寫入robots.txt文件，從而提升頁面抓取率的方式是可行的，也是具有可操作性的。希望可以與更多的朋友就網(wǎng)站推廣和優(yōu)化進行探討。本文原創(chuàng)臺州人才網(wǎng)http://tz.qianjiangrc.com。歡迎轉(zhuǎn)載，請保留出處。

　　推薦閱讀

　　如何恢復(fù)了消失近1個月的網(wǎng)站首頁百度快照

就在1個月前，我在百度搜索我們網(wǎng)站的名字“武勝之家”時，發(fā)現(xiàn)排在第一位的不是首頁，而是網(wǎng)站內(nèi)的其他內(nèi)容頁面。當(dāng)時沒怎么在意，以為首頁被擠到后面去了，以為等幾天就會好的吧。然而后來的幾天任然如此，我翻查到>>>詳細(xì)閱讀

本文標(biāo)題：巧用robots文件提升頁面抓取率

地址：http://m.sdlzkt.com/a/34/20120222/33188.html

 1/2    1  2 下一頁