本帖最後由 lomboz 於 2013-8-8 23:24 編輯
$ i d3 `0 o/ e' d+ f1 Y: s9 z; W9 I月光飛燕 發表於 2013-8-8 22:59 ! T* n' t& K2 w
不是很清楚alexa和semrush還有其他的工具站是否遵守robot協議,不過可以寫信去問問
0 Q9 B$ {% W/ b應該有答覆,樓主知道後 ... * _7 u/ W3 E) S' S
稍稍的搜索了下!
& Y Q& j4 v) ]- Q6 Y1 G5 u# v
1 Y2 Y+ V7 @5 M, D/ {
' _' `9 [3 n5 O2 P; Nalexa 的 http://www.alexa.com/help/webmasters3 b7 v' m- i O3 A- p8 E
插入:
8 v0 a' B5 ^( k# jUser-agent: ia_archiver$ s; h; R# I9 P$ p4 `$ Y1 n' x
Disallow: /
! X+ I# V' N" F+ C% m
! _: Z# F+ K+ Z# ~. J4 r1 T5 Y0 o" m- ^0 S# B' t
semrush 的 http://www.semrush.com/bot.html
' C8 h6 \, `. H' v ?插入:
; j9 S5 e" o" v: z% a. G% ?User-agent: SemrushBot
. i5 |4 H3 {; X, }: N/ }Disallow: /
8 j7 C% ]8 k% k+ T6 U
% o2 g1 {2 H* N0 j* U: v) G3 n
: a# V7 C, G5 x7 t
/ K/ N& A; v) W# [- w9 j5 G/ r4 B. w
) N6 m$ q1 K7 j; L! `- G; A# C, S3 r% n1 C
|