stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
7 p$ ^1 P3 y9 M7 E) w看了好幾遍才看懂了老兄的意思哇

9 ~" W0 K( @0 P7 v: H8 {, g我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。
, g0 f+ S1 Q% R1 q' r! Y2 z3 _: r
有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
# k5 G: z5 R  r$ u# [
搞採集很累的，樓主不搞是明智之舉。
: t6 z3 w8 k2 n, H# d/ L- q& Q: X
+ M6 f& v# z  o# x6 PPS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
3 Y2 ~" U  s" [
. f; A7 b" G2 Z3 G% a# @/ P# `
各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
7 U, B0 \; X5 _5 a看了好幾遍才看懂了老兄的意思哇
; a0 Z$ o* v: Z% m
: S7 v9 h+ v# G3 M" l# u' ?3 V  [我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

你這也算是採集吧？你如何查詢到允許分享的站呢？

3 ^3 ?; j5 h/ b- H3 X3 f" M

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

7 c* S* B- D: z0 s- B, \' U* X4 [/ Z8 l你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？
* K! ~4 d! O  a7 L% I/ j
& F8 _+ K4 |9 r- ]

學習了，原來是這樣。。。
* o; W. u/ J; J

forwhatah 發表於 2014-3-6 17:07
你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

8 [! N6 e8 C9 j. c4 G8 Z沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
$ l# r  L: z6 h; ?
% {3 Q7 H+ H/ o9 [/ i  F

chenyox 發表於 2014-3-6 22:48
沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

...

% `4 U" Q+ p9 D: t& Q) _& g採集也不容易，無論是採集過程，還是採集後！
* T$ @  T0 ^- {9 D$ f- v

學習一下                              
2 M( c. |# l: Z" O5 u