stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
' E/ h; G$ k' b- I' I
, u- B  ~2 p' ~4 s2 r( A我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

3 c2 z8 h4 f% O; O0 a" w其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。
; X9 `% t( Q8 e8 O; T# F8 u% q' w2 r
+ l6 e/ S0 t! C3 S, Y* Z有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
$ p& ^0 J" u' n" a* Q% u
搞採集很累的，樓主不搞是明智之舉。

PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛


各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
4 r2 M2 }( c9 y* L! M看了好幾遍才看懂了老兄的意思哇

( V  r% Y. N6 a, H) m9 D我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

% W" Z( Z" K+ @: [5 ^0 _" ^4 X$ e你這也算是採集吧？你如何查詢到允許分享的站呢？

, S5 J7 R; O" z! x% @8 [3 u

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

) K" h: g  L0 ?& C你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

學習了，原來是這樣。。。
% f& p9 ?) d& f# O

forwhatah 發表於 2014-3-6 17:07
( C1 C2 d* @! e' |6 e你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

2 N& K9 x# A0 Z$ [& d沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
' ]4 J4 T& A: K$ y1 G& E* n8 t" p- V

chenyox 發表於 2014-3-6 22:48
! n" _6 f& Z( ?' U沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

: Z5 t6 C4 y# E0 X6 \! Y ...

. g3 m4 E$ ~" s3 ]. I9 ~! U# U  x採集也不容易，無論是採集過程，還是採集後！

; }+ t. J: k$ m, |3 Q( S. ^% C" k! r

學習一下