如何寫好WordPress網站的robots.txt文件？

# v" t4 c: }- ^9 x( C( ~$ O- |% I
robots.txt文件要放在網站根目錄下，最基本的檢查方法就是用你的域名後面直接跟上robots.txt訪問，如果能訪問，那放置的位置就對了。

0 N: ]9 ?, X: l找到份代碼，

1. User-agent: *
   ) y  p9 o4 X& G' z5 D1 a3 ^
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   
4. Disallow: /wp-content/cache/
   2 w9 ?. b4 N- F3 n) A3 ^
5. Disallow: /wp-content/languages/
   0 N) q" b5 T, T" T/ ]
6. Disallow: /wp-content/plugins/
   ) C% c0 p1 L, I( R" @' R  k
7. Disallow: /wp-content/themes/
   8 ?7 {/ _: I3 o; @
8. Disallow: /wp-content/upgrade/
   / i# M2 u3 m5 y$ C* @% t/ t+ U$ E( \
9. Disallow: /wp-includes/
   ! @- _+ o7 M/ K- s/ h
10. Disallow: /comments/
    
11. Disallow: /category/
    
12. Disallow: /tag/
    " c: B; @. w- N# A9 O$ n+ r2 O, H
13. Disallow: /page/
    
14. Disallow: /feed/
    8 y# N9 i# o. d4 q4 U
15. Disallow: /author/
    ) h3 y$ Z; Y$ B( I# }) l2 P6 n
16. Disallow: /trackback/
    ; e5 o7 c* M" L3 I- A* x) o
17. Disallow: /2010/
    : E1 |' N/ G' K0 s* |0 e2 F) ~
18. Disallow: /2011/
    . p8 G8 i9 j6 v3 S; Q/ P
19. Disallow: /2012/
    & e* w2 |9 A* z" Q6 T& I; C
20. Disallow: /2013/
    
21. Disallow: /*/feed/
    : h9 }8 ~% C: R1 Y* n! ]: X  B0 B
22. Disallow: /*/trackback/
    & e  M! j" n4 p9 s' K
23. Disallow: /*?
    
24. Disallow: /*/*?
    ! b! s% E# X8 m0 j  h* ]2 p
25. Disallow: /*/*/*?
    ; I4 k' E2 s5 t' i! e5 G
26. Disallow: /*.php$
    - H! [' f: g+ i/ n+ C+ d4 H! ~
27. Disallow: /*.js$
    
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    
30. 
    2 g  E' Z5 }" o  [4 N3 f
31. # Google Image
    
32. User-agent: Googlebot-Image
    
33. Disallow:
    / G; h+ ]( J" x8 V7 e8 k
34. Allow: /
    + K# I( i( `' |* _8 o0 A; n0 _) m
35. 
    " H4 I0 x; p- T* Q# @* M
36. # Google AdSense
    ! ]; A8 X# T# j0 N- {
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    . G, a+ i  [9 Z3 [6 r0 t" [3 `
40. 
    ! t$ |: P* X! w) f- V$ ^8 V# m
41. # digg mirror
    
42. User-agent: duggmirror
      A( q, M8 L! f. |2 N5 D8 q3 V, X  f
43. Disallow: /
    
44. 
    ) K; ~& x  ~* s; ~( D: f
45. # Alexa archiver
    
46. User-agent: ia_archiver
    + X3 @/ p. j; }3 p' S3 F! g
47. Disallow: /
    8 Z9 t/ d. l" F" K3 X1 o
48. 
    / X9 ~8 e$ R$ g
49. Sitemap:http://www.xxx.com/sitemap.xml
    
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

複製代碼

問題是這份代碼適用於中文站用於百度，我是做英文站要適用於google, 以上代碼怎樣改成適用英文站的？
  _; G* s; {/ ^& h5 U+ y) W( T對於代碼 一竅不通...

主要疑問是31----47行的代碼，既然是英文站，這幾行代碼應該是允許的吧？中文站才禁止抓取？




" e6 J; U2 i$ p: h補充內容 (2013-12-22 17:43):
沒這麼複雜，下面的就可以了
Sitemap: hxxp://www.xxx.com/sitemap.xml
& R, t$ U. v- AUser-agent: *
Disallow: /cgi-bin/
Disallow: /wp-*

補充內容 (2013-12-27 17:17):
http://blog.csdn.net/wallacer/article/details/654289

好像禁止了動態收錄？具體聽高手解答~

我第一次看到這個robots.txt是在英文站．．．．．
可以用於英文站
& b* \4 d' _- P( {, Y

& m1 U: c1 o7 [% E( j# g- o; \9 w和競爭對手學習呀，他們是你最好的老是

# I9 ^( F7 }  T  [