
《搜索引擎蜘蛛爬行規律探秘之一蜘蛛如何抓取鏈接》寫完距今天已經20多天了,本來想一直寫下去呢,但是寫完第一篇之后,忽然沒有了思路。今天跟朋友們說起來了外鏈的時效性,也就是說外鏈會不會失效。
本文不再討論理論相關的內容了,而是會舉一些例子來證明第一篇文章,同時也說一下鏈接的時效性吧。
首先,外鏈所在頁面被刪除了,外鏈是否有效?
答案外鏈所在頁面刪除了依然是有效。證據如下:

我在博客中國的博客(可能是因為流量超標在2006年被刪除了)早就已經被刪了,但是百度依然有快照。今天看了下首頁的快照已經沒有了,但是文章頁面還存在。看快照日期可以看到是2006年,甚至更久的。
也就是雖然頁面被刪除了有5年之久,但是百度的快照沒有刪除,那么你說這里面的鏈接蜘蛛會不會爬呢?
我感覺應該是會爬的,而且我在博客網的這個博客是有一個域名A的鏈接的,當時只是做了個跳轉到博客首頁。后來在我啟用域名A做博客的時候,立馬就獲得了一個很好的權重,而且文章很容易被秒收。相信這個5年前的鏈接起到了不少的作用。
第二,如果外鏈所在頁面搜索引擎沒有了快照,外鏈是否有效呢?
答案可能會出乎很多人的意料,外鏈所在頁面沒有了快照依然還可以有效。原因可以查看我在蜘蛛如何抓取鏈接這篇文章里寫的,蜘蛛抓取頁面之后,會把內容和鏈接分開,鏈接也就是URL會加入一個網址索引庫,而蜘蛛爬行是從這個網址索引庫出發的。
先看證據,這個證據來自于谷歌站長工具:


這個截屏來自于Google站長工具故障診斷的404報告,以前我在原網站下面架設了個bbs,當然早在N年前已經刪除了。可是這個不存在的頁面,被Google蜘蛛抓取的來源地址竟然也是不存在的頁面。而用Google搜索,是沒有這些頁面的快照的(如下圖)。那是不是意味著已經404了很久的頁面上的導出鏈接依然有效?

第三,那么外鏈對于搜索引擎是否有時效性呢?
很明顯應該是有時效性的。那么我就猜測一下外鏈失效的原因吧,應該會有兩個原因:那就是外鏈所在頁面被刪或者鏈接被刪。
1.針對頁面被刪的情況,搜索引擎應該會繼續爬行這個頁面上的外鏈,直到這個頁面404一定時間后,會給搜索引擎網址索引庫一個命令刪除這個外鏈。
2.而對于頁面更改的情況,搜索引擎應該也會爬行這個外鏈,直到這個含有這個外鏈快照在搜索引擎內部徹底刪除,會給網址索引庫一個命令刪除這個外鏈。因為含有外鏈的頁面根據情況會保存N個時期的快照,這就是為什么有時候搜不同的詞,網頁的快照不同。
總之,外鏈是有時效性,但是鏈接修改或者頁面被刪除并不代表無效了。當然搜索引擎內部會有一個復雜的計算,過程不會像我說的這么簡單。如果有什么不同意見請直接在本文下面留言,大家互相討論。
轉載請注明來自逍遙博客,本文地址:http://liboseo.com/1111.html
尊重版權,轉載請注明出處和鏈接!
相關文章:搜索引擎蜘蛛爬行規律探秘之一蜘蛛如何抓取鏈接
推薦閱讀
百度經驗主要是分享一個事情的過程,做法,和知道不一樣。所以在做經驗時一定要注意經驗的步驟的描述,每步做法盡量做到詳細,最好概括性很強,能夠讓讀者立即看明白,馬上就知道應該如何操作,今天A5 SEO診斷優化小>>>詳細閱讀
地址:http://m.sdlzkt.com/a/34/20111230/21640.html