看了許多seo參考書總覺得這些書對搜索引擎收錄原理說的太籠統，今天我來說清楚搜索引擎收錄的原理
3 Z3 g2 g7 ^' E* d _( A& o9 g 搜索引擎爬蟲，蜘蛛，機器人是什麼?-搜索引擎收錄原理
$ z7 d8 `- s7 | 搜索引擎為了能夠讓自己的數據庫足夠的強大，足夠的全面，不分晝夜的在網絡上尋找新的，更可靠的信息，但是隨著網絡時代到來，網絡信息爆炸式的整張，人工根本不可能完成這樣的任務，因此，搜索引擎擁有者開發出來一套程序，用來不分晝夜的抓去信息，然後整理，分類信息，最後將這些信息索引到自己的數據庫中。 - w2 d1 O! A! J% g V
這種不分晝夜抓取網站信息的程序的名字很多，比如：蜘蛛，爬蟲，機器人，探測器。一般搜索引擎可以同時派出N多個爬蟲程序，它們通過URL一個頁面一個頁面的抓去網站的標題，描述，圖片，網站內容等，然後把抓去回來的信息放在專用的倉庫中，等待索引。 ' ?4 q7 T; n8 X+ T: O9 Z
但是網站的設計者，並不能保證自己設計的網站是天衣無縫的，都會有很多問題：比如說網頁中出現死鏈接，網頁內容過多等，都導致爬蟲程序無法正確的抓取完整個頁面的內容，或許爬蟲只抓去了這個頁面的頭部，在抓去身子的時候發現自己存儲信息的地方不夠了，不得不離開。所以我們在設計網站的時候都應該注意這些問題，建議各位網站設計者能夠把網頁設計的容易讓爬蟲接受。 , u( m& o4 a, c3 j# Z, q2 G* s
Google的兩個爬蟲程序原理介紹
0 u: [5 I j) G) `! v 下面我們以搜索引擎中做的最好的google為例，分析搜索引擎是怎樣抓取信息，怎樣處理信息。
$ B! l" D% c5 o* Q4 ~ Google爬蟲程序擁有2種：刷新爬蟲，和深度探測爬蟲，刷新爬蟲部分晝夜的將抓取來的信息放在一個特定的數據庫中，由於刷新爬蟲個和主要索引程序一起提供搜索結果，有的時候您會發現，你的頁面更新突然出現在搜索結果頁面，但是過了一會又突然消失了，這是因為刷新爬蟲在不停的抓去信息，不停的重寫，給我的感覺是刷新爬蟲的存儲機制影響比較像數據結構中的棧，先進後出，後就進先出，消失的這段時間各位seo不要著急，還是那個樣子不停的更新1月後就會慢慢出現在搜索結果中，不過現在可能等待時間沒有那麼長。如果你的頁面已經在搜索引擎的索引中出現，刷新爬蟲一旦發現你的更新，爬蟲程序會很快的將您的更新顯示出來，但是還是不夠穩定，要一直等到深度爬蟲更新主要索引，您的頁面才能夠足夠的穩定。
" B* x3 `/ Y3 o0 d1 D! M 下面我們用簡單的流程介紹下搜索引擎收錄過程： 玩出績效火熱上市，歡迎訂購 http://www.wanchujixiao.com。
; y/ V# k; G& O& w* `; i8 g) |5 i 刷新爬蟲程序--------》發現信息----------》抓取信息----------》放在專用數據庫-----------》等待索引整理----------》索引整理(深度爬蟲訪問主要索引)-------》索引完成，某關鍵詞的排名都已經計算好-------》等待用戶搜索--------》奉上結果。 ' p6 X; t# t* W! r' ?/ E. v
搜索引擎提供的結果有幾種? / }+ A& _+ f. @ I# D% Z7 e, T
搜索結果提供的搜索結果有二種，建議各位seoer都應該做上，
4 a4 ?% P0 R: ?; v% S 三種搜索結果1內容索引結果2特別索引結果，前者是對網頁的關鍵詞，標題，描述，鏈接源頭文字等文字形式的索引和壓縮。後者包含圖片索引，PDF文件索引等比較特殊的索引，建議各位seoer不要小看第二種搜索結果，這個也是能帶來相當大的流量的
# l! r8 A0 x* z4 l% ?( \$ _- o, }更多信息請登錄【奧博建站網 http://www.ob1000.com 本站提供網站建設、網站維護等服務。旗下網站：http://www.offsup.net http://www.huanbohaiwl.com】 |
發表於 2012-7-24 10:31:43
提升卡
沉默卡
变色卡
