amnoob 發表於 2014-2-19 23:35 
4 G9 z. B6 @; T8 m看了好幾遍才看懂了老兄的意思哇
$ `1 N* c7 {- r! D# P) P
/ E! z, C2 W( o6 }0 n2 O我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。# v- C% g& _0 A3 {
! z/ K, G& E: e: L9 l; B+ b- a8 m" F& |有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
1 I& n+ |6 X) \7 [2 F: k- n2 [4 g$ X# h, Z5 z+ T/ R1 I! p
搞採集很累的，樓主不搞是明智之舉。
: o5 w" X0 h2 b4 d( Z
4 S% @# a! v2 F/ E, j: qPS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
1 V @. Q* U5 ], o$ r0 m3 w' {" O6 f, L! [1 ^
& Z$ n. N U6 p, }9 T2 _, l
各位遠離採集遠離採集遠離採集。。。: ?6 T6 K/ W% i! F+ X) o' C" c3 g
' F. _! F/ P- i! ~
|
發表於 2014-2-20 17:09:49