本帖最後由 lomboz 於 2013-8-8 23:24 編輯 / }+ [, x; y, E' h; l6 j. u
月光飛燕 發表於 2013-8-8 22:59 # [6 p$ K9 C( v9 L+ I# b3 L
不是很清楚alexa和semrush還有其他的工具站是否遵守robot協議,不過可以寫信去問問9 ]0 r" L2 L- p9 [
應該有答覆,樓主知道後 ... ( O$ i) c% r. m3 Z5 C7 L) I9 a; Y
稍稍的搜索了下!
/ I' I- L/ z- p6 k* |
9 s# ^ ~/ p) h9 E! |. y
" s5 L9 o9 V# a: [6 F6 I; M6 \( Walexa 的 http://www.alexa.com/help/webmasters* E; z. q7 T6 d4 v: T
插入:
5 s$ R" ~3 x' Q9 u9 Q! [( `User-agent: ia_archiver% ~9 c: N2 C1 N: t0 ~
Disallow: /1 I0 V3 ^6 v0 `1 R) _1 C* a' B
! h) E) W i& L! M3 G; m- H
: ^2 p) G7 @, @( W1 B+ _/ l5 ?; v" Tsemrush 的 http://www.semrush.com/bot.html- s4 j; |- _: e- m
插入:7 G. H; `6 l8 x O% V. e
User-agent: SemrushBot
: k9 H4 ]' }' a! R$ ?" NDisallow: /8 f( U: z" `. I2 S+ H
" d3 I- p7 u' c3 P) N, q" U; V) e: J6 b6 N( Q. C. ?+ T( W
5 U# @) }' N; r# N0 p
/ n- I" V) [$ ^" ~ U) O; Z9 b; M6 C" n' D
" y% I; D, S5 [. Y _2 s. @1 [
|