amnoob 發表於 2014-2-19 23:35  x1 E! A8 }+ H2 \
看了好幾遍才看懂了老兄的意思哇 7 V+ b1 M9 v5 ^% t* x1 C4 T [
C3 Z' k, [+ R我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...
" n: p5 ]5 {9 f' L' J6 \: V4 f其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。
' p; G x0 ~, a/ n6 m- |: l% X1 v4 w" c/ f
有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。3 N0 [# L6 u, [. t+ h$ U2 A& _% ^
. `8 ?! ~! H9 O' d* c6 }搞採集很累的，樓主不搞是明智之舉。
- D& x$ \. Y1 v( _8 v8 }* k: g. P5 H. i) e0 P4 S7 w( }3 l3 g* u
PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛 7 r* P0 h& K' F
8 `1 o# R" ?9 u% n8 U2 J$ D7 I) ~! f/ M. A5 `$ C$ A! o$ v7 p* O, |
各位遠離採集遠離採集遠離採集。。。
" i1 e9 ?4 ?% b( ~# J* [. P) D$ t* K
|
發表於 2014-2-20 17:09:49