本帖最後由 lomboz 於 2013-8-8 23:24 編輯
; v8 ]2 O( A! u3 r" z, r4 s月光飛燕 發表於 2013-8-8 22:59 
6 o: d' I; y3 ^- [8 _+ U不是很清楚alexa和semrush還有其他的工具站是否遵守robot協議,不過可以寫信去問問
+ U, L' O$ l6 ?1 Q# i+ ?7 f應該有答覆,樓主知道後 ...
$ t6 ^4 Y6 c U" R5 o6 K/ R* z3 i6 u) c稍稍的搜索了下!+ F. z8 @. f7 K/ x* M, z
9 c$ n' f0 I; j* G
! e3 M+ X- M5 e3 lalexa 的 http://www.alexa.com/help/webmasters' ?# ~% u8 {/ E4 u9 y3 a
插入:( _1 ]% p# t+ J. {4 ?9 r7 J p/ n
User-agent: ia_archiver
4 Y9 e# G2 {; UDisallow: /. i( ?0 }% s6 o. j6 L* j) p3 i
4 @3 E9 g! N E: n; K1 ?( D, q
. L+ J6 m% e/ S- `( l6 isemrush 的 http://www.semrush.com/bot.html+ G( F A9 q3 t) h; ~4 L" p. i i
插入:' b! J# A2 ~/ Q5 a8 H- Q, o
User-agent: SemrushBot
% E1 x/ c% e. T7 O; F/ tDisallow: /
7 j: w* N+ U* d; Q% B7 r( t- m
/ U2 d, N; r% R* v9 g
% ^4 w' X! p2 O8 t5 @5 d% a8 R3 O; g+ G& M4 m. U% N1 G
5 p: }; G# U+ c$ {( H, r: u
6 j% S% Z; K W! R
z( ~ W& Q6 Z$ ~: x
|