amnoob 發表於 2014-2-19 23:35 
) Z# X% M1 X) U: W' R- K/ `看了好幾遍才看懂了老兄的意思哇
% j2 |. V4 q4 O, ?! v2 p) t% p( I6 _" A
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...
5 [* L& y1 [ g其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。) V& S) Q& D1 v* ]) ?& u
7 e4 [; @ t/ X, M" ~
有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
3 J# r, [) x/ C% v) o5 Y
( v/ S0 [! q* [ V! j1 @: p/ @搞採集很累的，樓主不搞是明智之舉。4 f3 v3 m8 I7 K1 ]0 R4 E
1 F9 y9 y0 C% t/ ?( z
PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
8 a0 |2 |$ K- x T% u+ a$ E* G+ t7 Z# \+ c# K: w
) f$ L" ^+ p2 S0 K+ G1 S3 ?
各位遠離採集遠離採集遠離採集。。。4 p7 R% B) b( v+ i/ ^6 k4 D
: q- M0 i- q; n: j3 Q, B6 X& h) x0 {
|
發表於 2014-2-20 17:09:49