stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇

我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。
6 l7 a2 K- J0 t0 L& z1 E7 S4 w- T
. L; w- O) p" G  e' I1 z9 E有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。

4 O: c2 f% y! {- O7 I9 M  M搞採集很累的，樓主不搞是明智之舉。
0 S" h: p# G; ?+ Z) k4 T. S1 a
! v* `& f* c% I2 |( e1 yPS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛


各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
! G" K% N) |, O$ T0 C  Z; q看了好幾遍才看懂了老兄的意思哇

0 r( d5 H2 b, ^# _4 ^我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

- q$ L8 D5 X  b; s  |& [1 P: x你這也算是採集吧？你如何查詢到允許分享的站呢？
) \; f7 V8 m# ~

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

" a( E9 f! W# i7 i9 _# I

學習了，原來是這樣。。。
  a, N* ?7 }4 V, @, S4 c

forwhatah 發表於 2014-3-6 17:07
你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

6 M. D2 M8 [, q" W+ n* u' E. W沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
9 @0 D5 v& b  C5 J( D" r; F* S

chenyox 發表於 2014-3-6 22:48
& E/ O) W( O0 ?0 ~/ E沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
1 N! G& |, [6 q1 {6 S; v' O1 ?: y9 n; a
...

5 b& P  i( q: }* }) g/ e採集也不容易，無論是採集過程，還是採集後！
  ^5 H9 ^% r5 M- s6 N; q4 x
! I( c* }8 F3 _2 l

學習一下                              
& `  P6 X+ M1 T# [" e