stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇

# s6 c; [- ]. Z我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

2 u9 o: [0 H, A( r  S& `, ~; R其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。

5 G# o3 K; p. b. K5 f2 I1 z有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
9 b0 u0 b9 W4 L) ]# ^& M+ e$ r
/ f0 a7 L+ W1 ]. y* `* e4 ~搞採集很累的，樓主不搞是明智之舉。
: C# ?* U! H4 B) f
PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
( Y6 P& K9 E) v7 L
5 ^2 ~! \# A, E/ f
各位遠離採集遠離採集遠離採集。。。

$ s% t( F$ T) z; w

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
& S1 \# T) A$ K% @2 s
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

/ `: X8 g. Y7 e6 Y你這也算是採集吧？你如何查詢到允許分享的站呢？

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？
/ T$ Y3 c/ b# U+ `3 `0 W8 w
1 D- D% Y2 q6 J6 ]) I

學習了，原來是這樣。。。

forwhatah 發表於 2014-3-6 17:07
9 k% I! n$ U3 b  C8 ^你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

4 n; G9 _( |7 P! y/ G9 Q" l沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

chenyox 發表於 2014-3-6 22:48
" g" Z2 G, D4 e8 n6 `9 X沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

! B" K3 F/ A, h# c0 T# t ...

0 Q2 {6 W3 {2 r$ }: ?" O採集也不容易，無論是採集過程，還是採集後！

學習一下                              
9 B) U/ p. W1 x- ]" e$ t