stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
  Q$ A7 |1 o6 h* F9 H1 d9 w6 [
. N- x% J' u2 A6 h3 A0 n我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

! @$ }/ F% r2 T1 U2 @' K其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。

( c  C5 w2 I5 u) b% c有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
& N# p7 u" l( E; K; D6 Y
' a' j2 W2 ?+ r$ X/ `3 `4 v搞採集很累的，樓主不搞是明智之舉。
# g7 n3 ^. r  r$ _# W9 J
PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛


* S* h& I3 P: j, ]7 B各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
8 q7 A) ^6 M& ~5 E
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

4 ]. H2 a! v( u3 ?( g0 ^你這也算是採集吧？你如何查詢到允許分享的站呢？

chenyox 發表於 2014-2-20 17:09
: d! F% v6 t" B9 a% p' ?0 k其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

學習了，原來是這樣。。。
& H$ l0 N- q& g" X8 z6 V1 r+ o

forwhatah 發表於 2014-3-6 17:07
你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
: Y; t4 {5 P/ F1 v' a3 d

chenyox 發表於 2014-3-6 22:48
沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
& G& B6 A/ N$ ~' U, }4 _- O
5 j0 k+ k" o. e+ S2 F' n/ k/ o ...

採集也不容易，無論是採集過程，還是採集後！

# w1 v4 Q+ A; X* J# q/ I! e2 m7 n4 X

學習一下