如何寫好WordPress網站的robots.txt文件？

3 c4 j! n7 m" M9 c
" H7 w/ y  G- D/ C4 G6 ^& Jrobots.txt文件要放在網站根目錄下，最基本的檢查方法就是用你的域名後面直接跟上robots.txt訪問，如果能訪問，那放置的位置就對了。
4 v: N8 g- g5 V( w# Y# i
& f0 C) K7 T7 m- ~9 x找到份代碼，

1. User-agent: *
   : m" {6 m  C0 z) H6 V) s
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   3 _. s/ h9 I1 `" P# K: p/ e4 q5 Z
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   5 m: J! y" q- M  Z+ T( d
6. Disallow: /wp-content/plugins/
   
7. Disallow: /wp-content/themes/
     p* O$ g& Q( w; j$ \& {2 q
8. Disallow: /wp-content/upgrade/
   
9. Disallow: /wp-includes/
   
10. Disallow: /comments/
    5 o: l. ~+ j" Y% |2 C
11. Disallow: /category/
    
12. Disallow: /tag/
    % p+ ?8 u3 h: n: J1 A* f6 L
13. Disallow: /page/
    5 O8 H" ]+ t* ^5 Z8 E
14. Disallow: /feed/
    
15. Disallow: /author/
    , x' L$ C8 @2 W1 G. L, V
16. Disallow: /trackback/
    
17. Disallow: /2010/
    
18. Disallow: /2011/
    
19. Disallow: /2012/
    
20. Disallow: /2013/
    
21. Disallow: /*/feed/
    ! N. h6 {8 j7 E7 N2 L1 S" I3 }
22. Disallow: /*/trackback/
    
23. Disallow: /*?
    
24. Disallow: /*/*?
    
25. Disallow: /*/*/*?
    ) B. O6 w1 Q' Q& u6 T
26. Disallow: /*.php$
    
27. Disallow: /*.js$
    % l4 u8 r3 {8 K! G. e$ R
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    
30. 
    
31. # Google Image
    - q+ W" ]8 p& K4 y
32. User-agent: Googlebot-Image
    
33. Disallow:
    + Q4 K4 O6 y* M$ V, h7 b  e
34. Allow: /
    
35. 
    
36. # Google AdSense
    , P2 P; W1 H& R6 i( Y
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    
40. 
    
41. # digg mirror
    
42. User-agent: duggmirror
    ) l0 F8 _, a. [4 ?  V
43. Disallow: /
    
44. 
    / {' R0 J; ~) e% C
45. # Alexa archiver
    
46. User-agent: ia_archiver
    3 \) n0 {4 S; z( D
47. Disallow: /
    
48. 
    
49. Sitemap:http://www.xxx.com/sitemap.xml
    
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

複製代碼

問題是這份代碼適用於中文站用於百度，我是做英文站要適用於google, 以上代碼怎樣改成適用英文站的？
! D9 K9 T2 A+ S6 W$ k" @0 S對於代碼 一竅不通...
, Z% U# L1 f. p1 D8 @+ C8 T
主要疑問是31----47行的代碼，既然是英文站，這幾行代碼應該是允許的吧？中文站才禁止抓取？

( Z. H0 o8 l% N2 C. o( }, e9 ~2 j
' j3 ]1 G! m  ]& o
0 ?( n& t' [5 w5 j" _) C8 `# p
* S/ a. Y9 a) C# ]補充內容 (2013-12-22 17:43):
* q% V6 r- l8 s' l* m1 s沒這麼複雜，下面的就可以了
9 F  r# t: U. W1 q7 ZSitemap: hxxp://www.xxx.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-*

補充內容 (2013-12-27 17:17):
http://blog.csdn.net/wallacer/article/details/654289

好像禁止了動態收錄？具體聽高手解答~
. M: e" s; `: }

我第一次看到這個robots.txt是在英文站．．．．．
5 P, c; O( S3 L) x可以用於英文站
2 C& n, _3 c3 }/ y

1 ]% V, o8 I6 [
3 q2 M5 A) ]( w8 K% a1 q
+ v& \  a* p, W和競爭對手學習呀，他們是你最好的老是
% Q" B0 C4 M1 R$ E  m