Google 爬蟲真牛逼啊

& l. G6 x* D: B
! _' n. {$ B2 e1 P) H5 K3 G. q( ]: X我發現有的網頁上面被人搞了好幾萬評論，我自己打開個網頁都要好幾分鐘。。。。。過了10分鐘後頁面還在不斷加載垃圾評論。。。。（這裡要讚揚下服務器先）
" \% f  a& q6 r) i* q9 u$ \ 我在想爬蟲請求網頁的時候是否也有個時間限制，如果時間太長了，google爬蟲也就放棄這個頁面。

, C) n( ~8 \% }- I  w; e
: _  b0 ~) A% ]! b換句話講，我接著再弄軟件spam無論多少條評論都是沒有效果的吧? 因為爬蟲沒有能力抓取到頁面的內容了。
0 ?5 d9 u+ Y( x$ a' W9 [; y& n
2 Q- |' }9 |/ b" Z. h
不知道我的猜測對否？


* c1 K/ D2 b# @7 @0 N; ^/ Q: e& x

, j' n- q1 `( e- N- R% A4 {
3 \- t4 i: B& D6 J0 V

這樣搞，不是搞死自己的網站？！
  f. l) S5 @3 W) ]

蜘蛛爬取網頁有超時限制，你的理解是正確的

會的. 蜘蛛會有一個限定的抓取時間, 如果超時的話, 會自動放棄抓取.
' s& T+ N- B8 Q+ ]- h: @

沒明白你這麼搞的目的是什麼？googlebot是可以識別spam的，就算回復裡面有spam也可以識別
! x$ v: B9 }4 a& E+ T+ E

有幾個判斷：第一，估計服務器帶寬不行，或者你網絡不好；第二，再多評論，也會分頁啊，只能說程序沒設計好？第三，服務器太慢，爬蟲是會超時的，經常這樣，爬蟲就不喜歡了，估計權重會降低
7 z6 w3 }% D* P/ t$ r) ]

這是要搞死搞殘的節奏啊
7 U; F$ r* p1 L4 b* c& p- r5 T& h