如何寫好WordPress網站的robots.txt文件？

- D0 R0 H' N% k' b$ t
  W: |$ P/ n5 Z. e3 Irobots.txt文件要放在網站根目錄下，最基本的檢查方法就是用你的域名後面直接跟上robots.txt訪問，如果能訪問，那放置的位置就對了。
3 Y0 k9 F! }5 u0 `8 U
找到份代碼，

1. User-agent: *
   
2. Disallow: /cgi-bin/
   5 ]% ^1 O2 v2 p) ~
3. Disallow: /wp-admin/
   & v3 L) l  z  g% v' W5 {
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   9 \9 `# ~. a. g7 Z. x3 q6 {" [
6. Disallow: /wp-content/plugins/
   ; ]# o( J; y; N! B( x) E: o" o
7. Disallow: /wp-content/themes/
   
8. Disallow: /wp-content/upgrade/
   
9. Disallow: /wp-includes/
   0 t+ Z4 A$ F2 w1 ^
10. Disallow: /comments/
    4 R2 p: R/ o: h! {' X' v
11. Disallow: /category/
    
12. Disallow: /tag/
    * r: j, ?8 F% Y: l& e6 m" P
13. Disallow: /page/
    3 ^2 p& M* y( s! t' o: a- s
14. Disallow: /feed/
    ' c. x& r% c3 R" n0 k" j# N0 r( M
15. Disallow: /author/
      w/ w3 c. B# l# s# q
16. Disallow: /trackback/
    
17. Disallow: /2010/
    ( @5 B# b. U& p/ ~' }$ c( I1 ~
18. Disallow: /2011/
    5 \- o/ W2 Q" ?1 _3 I1 q' b
19. Disallow: /2012/
    7 V" X: ?( z: ]0 f+ m2 O
20. Disallow: /2013/
    : [( J4 o% N; W0 \' {
21. Disallow: /*/feed/
    
22. Disallow: /*/trackback/
    
23. Disallow: /*?
    
24. Disallow: /*/*?
    0 B& b9 p" B) L5 N: }$ r1 G! u
25. Disallow: /*/*/*?
    
26. Disallow: /*.php$
    
27. Disallow: /*.js$
    ( S4 Z' p3 A& h% n6 ?
28. Disallow: /*.inc$
    ' |. V) U( T- V! P
29. Disallow: /*.css$
    
30. 
    
31. # Google Image
    
32. User-agent: Googlebot-Image
    ! i3 A: T" Y! g: x$ P* ~
33. Disallow:
    + c7 h1 y) L/ `8 Z+ v$ ^/ j( [
34. Allow: /
    ( c2 z2 |6 w; Y5 M3 G/ V
35. 
    & u4 I* i6 \; R  M8 w2 f
36. # Google AdSense
    ( a6 J1 E* x+ Y: }2 k" f: y
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    4 m  ^, H3 n: L7 F
39. Allow: /
    
40. 
    3 [5 c( j4 A3 x: x
41. # digg mirror
    
42. User-agent: duggmirror
    
43. Disallow: /
    
44. 
    
45. # Alexa archiver
    ) _! R0 N6 u+ S: s; i
46. User-agent: ia_archiver
    + E- ~( t$ X; e+ @) `. T# j# b
47. Disallow: /
    
48. 
    5 x8 s+ N; B+ y
49. Sitemap:http://www.xxx.com/sitemap.xml
    2 {8 @3 y1 q  G0 n; P3 O7 T, `" H7 w
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

複製代碼

問題是這份代碼適用於中文站用於百度，我是做英文站要適用於google, 以上代碼怎樣改成適用英文站的？
對於代碼 一竅不通...

主要疑問是31----47行的代碼，既然是英文站，這幾行代碼應該是允許的吧？中文站才禁止抓取？


/ @' D3 |8 H8 F1 Z$ I

1 Z" \+ n% ?8 [4 \% [' m$ c補充內容 (2013-12-22 17:43):
沒這麼複雜，下面的就可以了
Sitemap: hxxp://www.xxx.com/sitemap.xml
User-agent: *
& L% ~7 g, [0 \4 W1 ^9 I5 Q: ZDisallow: /cgi-bin/
7 G" V% K3 S+ d3 E" P; j5 PDisallow: /wp-*
5 ~: E, \. K) g! I/ w- k% G
補充內容 (2013-12-27 17:17):
http://blog.csdn.net/wallacer/article/details/654289

好像禁止了動態收錄？具體聽高手解答~

我第一次看到這個robots.txt是在英文站．．．．．
可以用於英文站
3 k: w# H- P1 d) c8 ~& F

0 Y2 D+ L$ ^8 I$ c# Y
( E! N7 w( i) |& [! O* e和競爭對手學習呀，他們是你最好的老是