过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯 # o* P9 J1 E* {: R2 a+ }6 c

- R) S7 J- l7 p/ [; ?懸賞wordpress英文站robots.txt 規則的完整寫法
, ]1 ~6 P! b9 F- k按以下要求寫# G) N1 S/ @$ M4 X1 P7 N
1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止
9 M- y% O- e4 h' U4 b2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本
: M4 j5 |; s8 j7 V' ?/ q% s3,  Sitemaps文件6 e5 `8 U9 Z; Q

+ y! y' F5 t1 c2 w. y  k3 P2 A# x; x% a+ K+ w( L! Q: ~( F
3 y1 u$ A1 X' d$ B7 o0 ]

. z0 e* S/ Q, Q" Q/ d$ \2 l3 x% A2 x* K" h6 L2 d; @

6 {5 ]% P- h, d% ^# l8 j1 i  C9 [) a; x

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯 ( \( j: b' ^0 E' e* X' m
3 A: `- p. c8 y- I0 B7 d! o5 Z6 w
User-agent: Alexa*9 u+ n3 a6 l: ~, Y! h
Allow: /5 V+ O9 y( Z" d1 S7 Y# m
User-agent: Aol*
! F$ r  ]* x4 k  g. J  E2 fAllow: /" k( }( o* m9 V4 n' n
User-agent: Ask*8 t: C4 @8 I* C( B- _
Allow: /
+ U) Y$ L' \( FUser-agent: Yahoo*& L2 P; o& M2 z2 d, t' }3 c
Allow: /
; r9 J* ]# P5 B8 }7 jUser-agent: Bing*: b$ C3 Y- V3 a
Allow: /
. q/ P6 r. P' q9 C) l; F* d! AUser-agent: Google*
& C" M& |6 q' n" a' W  QAllow: /# D3 f2 L0 T- v7 J1 \! v4 [

, O- f6 k1 G% k6 u3 E- R2 L7 W9 H# HUser-agent: *
  |" Z9 }3 Q- J1 F+ ^+ gDisallow: /
2 A6 W2 G( D9 [$ C$ Y& yDisallow: /*.php$
' I* _  ?6 j. q2 K, IDisallow: /search/0 {3 u. l9 x: o7 r* x7 X
Disallow: /tag/*?*
/ o3 X: C  C% P) k  QDisallow: /*.html?*; _; i' q, y! Z1 Z, u- |
Disallow: /page/*?*
" W" x3 |; @+ I4 s/ n+ V- ]Disallow: /wp-admin
2 r' W8 R' Z: j: h, l6 d2 A8 tDisallow: /wp-*.php0 ^4 q% ^" q8 q# z5 m- I
Disallow: /comments/. V5 e( V+ f0 |9 U; C* h# G% w
Disallow: /trackback
! y3 }, m4 g* `1 G( }6 _* zDisallow: /*.html/*?*+ s8 Y, g2 |- O
Disallow: /*/trackback" u# f8 l/ m2 D( @
Disallow: /comments/feed: L9 Z- w5 ]) M4 _% d
Disallow: /*?replytocom=*
9 m" e$ f+ C7 XDisallow: /*/comment-page-*8 V7 L$ `* B( d. e$ i7 c: X6 \

: M) B2 P5 P% S9 f; }3 xSitemap: http://www.luosuo.net/old/sitemap.xml  o; t. m1 O  `! y9 P  s% H! ]
很粗率,完了上robots驗證驗證一下或者麻煩些。。。
6 x$ w9 ^8 D6 w- @& P
' H# E, r% }( y4 Y8 i* _" z" `7 FUser-agent: Alexa*
' w  L* U2 r$ N6 ]& CDisallow: /*.php$
7 k0 T6 F5 ?1 L3 |- p: ODisallow: /search/, d% }! \+ K" V+ |9 {; \. u7 o
Disallow: /tag/*?*
8 T1 f- X4 w; q* gDisallow: /*.html?*' n5 H3 a$ F7 q6 w0 G( z
Disallow: /page/*?*& ?6 a/ _$ T% O5 d9 y8 K# g8 L
Disallow: /wp-admin
) x1 \) J: |8 i' R5 N) PDisallow: /wp-*.php( i0 V$ Z. Y8 z! S4 Y& @1 |
Disallow: /comments/! t$ O/ K) Q7 `2 `
Disallow: /trackback% _* `% M5 x3 l, h8 X8 M
Disallow: /*.html/*?*- b# P7 ~# }- F5 u# N
Disallow: /*/trackback; L5 S% o- B6 P. f2 h: h1 Z; P( T* J
Disallow: /comments/feed; C) C; O: b: q& i8 n
Disallow: /*?replytocom=*& P! e! o/ m: }6 e
Disallow: /*/comment-page-*
- T+ n7 d2 t& J+ x. r  Z
8 _: z) x6 e/ S& z& B0 }* {User-agent: Aol*. h. |5 M; v& A1 g2 N9 Y
Disallow: /*.php$
' @) Z8 R; J( m# G: R$ KDisallow: /search/0 X; v. w$ z9 p, B
Disallow: /tag/*?*- }) b- [) d2 h# g' {/ J) G1 D9 {
Disallow: /*.html?*
( x" w  |  y  lDisallow: /page/*?*
1 A, k7 y$ ~/ P9 p& m+ [Disallow: /wp-admin4 ^: }( U- Z, K1 ^) D7 l
Disallow: /wp-*.php
* p" R' ^" V/ X8 K6 MDisallow: /comments/
) }$ B: e: E. s  ODisallow: /trackback4 T0 R9 l$ b: ?8 w8 |6 t3 X2 x7 p
Disallow: /*.html/*?*
2 t2 w0 y$ ?$ ADisallow: /*/trackback
' U' A/ D5 Q- H' ?! ~- iDisallow: /comments/feed( c% B& p- y  B+ J
Disallow: /*?replytocom=*0 n! X7 d3 Y* W9 A4 q/ ^! B
Disallow: /*/comment-page-*9 F# X8 F& C1 w1 W4 R, X
3 Y" u9 S; |6 p" e) f) K
User-agent: Ask*) V$ Q* n$ j9 f
Disallow: /*.php$
5 S) @( w) w6 P0 H3 ?% ~+ dDisallow: /search/
, S% `+ w! P, ?& E' G/ J+ k/ NDisallow: /tag/*?*. y( T9 ?% Y1 i4 M, P7 d
Disallow: /*.html?*0 x( S' {. e6 M% f) x6 g# l
Disallow: /page/*?*
/ M! _; X; e0 ^! \5 jDisallow: /wp-admin. @9 K" K) _& O8 T  a( N, x
Disallow: /wp-*.php
, c7 R4 V( j# }8 G5 e4 o- g- vDisallow: /comments/
. k! p; h* q! }( U5 F5 w8 M! lDisallow: /trackback2 `5 g! q; s6 f  I
Disallow: /*.html/*?*: Y0 ^" K! F( o+ Y& U
Disallow: /*/trackback
$ e# X4 `5 X' P: Y! P* a& {3 v" qDisallow: /comments/feed
$ \% w, F3 p5 y( z5 V' F, o2 p! v5 NDisallow: /*?replytocom=*
) H$ h, B- d" c* Y$ E, wDisallow: /*/comment-page-*
" q! h0 }3 h: o6 E9 L5 R& _0 n* t8 t3 N  u% ]7 L! K3 M' a  a6 ?
User-agent: Yahoo*
  |: O" Q. R0 o1 k" V& ZDisallow: /*.php$2 D5 ~  z  {6 X: F4 V) }4 v# ~% A
Disallow: /search/
) n+ U% s* ?& ~2 W$ s( ]9 WDisallow: /tag/*?*2 Y* F" i3 s: b# H, I+ \
Disallow: /*.html?*. r  U/ F6 g. _: J. R9 H
Disallow: /page/*?*
5 I1 J2 c9 C# u$ L0 lDisallow: /wp-admin
7 S& `. r# y- oDisallow: /wp-*.php: O4 P8 J+ J, O. A
Disallow: /comments/, o; R0 o0 B6 E* V- E" F, f4 {
Disallow: /trackback) |1 H, X: a$ s5 b' c; C
Disallow: /*.html/*?*
* g/ p& ^- v  L9 H! j/ PDisallow: /*/trackback# D3 O6 [( t! a2 N, V* e
Disallow: /comments/feed( O& Q3 k4 s2 N1 d0 \5 X% Z' z
Disallow: /*?replytocom=** A- c- @8 U: W5 m, o* d
Disallow: /*/comment-page-*
: F6 A% O1 P; O* t" `9 c: k3 l) p, k9 E& v+ V
User-agent: Bing*2 g* g3 R4 H: e2 M. `3 a. p/ q; T! }
Disallow: /*.php$+ f* u# {3 `. y2 @- h% }
Disallow: /search/9 A  D% T3 Z! C: ]
Disallow: /tag/*?*
9 t6 ]0 V) T  H5 e% UDisallow: /*.html?*/ y) M# b, u* N8 \- q
Disallow: /page/*?*
! T& ~: N% [5 K! g( o- I" b4 e& MDisallow: /wp-admin
- @! c, M8 P$ x6 C/ c' r* p2 yDisallow: /wp-*.php$ S1 W4 M$ u- g" M( L
Disallow: /comments/8 [( ^* }' N1 }
Disallow: /trackback
  _7 g% s+ \5 o; S7 MDisallow: /*.html/*?*3 V: H  ^: ~, v
Disallow: /*/trackback
/ c5 g* m& G# YDisallow: /comments/feed
/ s! R; g  B% f2 |" p% U: lDisallow: /*?replytocom=*
! `0 B% m! Z' Q' ]: WDisallow: /*/comment-page-*
! j" y- I$ Q  a' ?5 M/ Y  o* E9 N9 I8 p* o$ q: v$ E  Q
User-agent: Google*
: X" W" l8 L- m0 nDisallow: /*.php$- a" P8 P/ R: }! q3 U& G
Disallow: /search/
  L" p5 I9 V& \. K3 ADisallow: /tag/*?** ]* ?" V% O) p6 T$ T9 }
Disallow: /*.html?*
/ K6 G8 v: M) Q# H" X# B. @Disallow: /page/*?*7 p+ u6 i3 n  p9 j0 j; P% u
Disallow: /wp-admin
7 c; }. C/ z4 T/ J$ |, G4 E  t1 QDisallow: /wp-*.php
) W; B0 [6 E1 d9 xDisallow: /comments/
- X/ `  g2 A+ W1 P! ^2 [9 ]+ tDisallow: /trackback) S* P' t! k9 f% d
Disallow: /*.html/*?*$ @; D' x$ y* q5 I$ ?& _. y
Disallow: /*/trackback" `$ P6 j$ F" K1 w6 H
Disallow: /comments/feed) h2 w, J+ p% O5 @+ ?
Disallow: /*?replytocom=*
! ~* F: S. K" x( QDisallow: /*/comment-page-*
+ K, V/ H* L+ ^0 @0 {) ^& ]1 q  A+ j+ F5 |: o
User-agent: *
7 I5 J# ?% O: n9 ^2 @( A4 m$ ?Disallow: /0 Y+ A: N4 c0 g7 ^2 l% O1 g
Disallow: *
; B7 z) S9 T) D/ g& K; N
/ {, G& @: D& ^7 a! w5 S% xSitemap: http://www.luosuo.net/old/sitemap.xml+ z0 y# i% Y; ^  Z0 q/ j
% o- p- {: W0 V. l
4 L3 ]* k& c7 f; l5 c
1 R( M6 T+ ?( Q

/ U6 O* n& d% W( ?5 S. Z5 R" {
  x0 d9 b3 z" N, ^6 n! k2 {: `% }# c/ Q, V8 E; X; A
9 ?/ J5 V. K) q: ~" E  S
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單5 i* t' g, X, q/ I: }/ V8 U
2.google下各個ua% G  a3 b$ U- E( l
2 e5 u( Y! w, T8 a, b! _0 E
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯
1 y% w6 Z9 g" S* P1 @* R4 u4 `6 ]3 q+ A1 n  ^2 G( y6 L. i8 O
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
5 s5 x2 Z) w2 VUser-agent: Googlebot5 J$ G. A. ~8 Y8 I% \3 g: F: O. L
Allow: /
+ b  f6 J' n% n9 bDisallow: /mulu/
3 |" B" l; }! O5 m: k# [8 ]6 [  h( cDisallow: /*.css$5 n% k6 K. Q6 ?$ }

! W/ }6 [, }" c4 x3 H3 S3 O/ ~/ I# w; L: W- C% v
User-agent: Googlebot-Mobile
; C3 `/ T' I- D# R! Z' _% B6 mAllow: /! q- N' l; Z0 m" [: W6 k& N
Disallow: /mulu/! H% C$ _$ u- S5 U5 N* u% i
Disallow: /*.css$
0 N+ y# o& A9 ~6 e' C9 c
7 ?) t# H. U* }# U' W8 b+ UUser-agent: *3 U* I$ L* x+ j8 y: G
Disallow: /2 f9 Q! \0 t8 {. Z

/ F) L4 D/ S5 |, XSitemap:http://www.xxx.com/sitemap.xml
$ R2 i- g# ], S2 k( I其實百度百科裡面寫的很詳細啊。。。* U  p( x) X5 a& P
http://baike.baidu.com/view/9274458.htm#3_10 v( p& O, M+ J& H6 E; D; H. M

3 i; C; x' E2 J% V% T
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39 . z5 G9 J/ u9 Q
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
# K! j* _/ B4 q5 r5 [User-agent: Googlebot5 s- ]0 w: C/ u% n
Allow: /

4 `8 X- y" o0 ~0 O: f4 s
! [- o4 @$ x! l( L5 [* S/ s1 v9 jAlexa, aol, Ask, Yahoo、Bing  ??
. l! ]4 L3 G& w# r( z6 _
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將
" Y! ~- v" {4 L' yUser-agent: *
0 x( q- \) O+ b4 K5 hDisallow: /! ?. T6 C3 G$ f2 k5 d7 o

/ Z+ v5 h; T% u, q放在最前面吧?後面的設置會覆蓋前面的設置?$ X, C# r) f. @
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層
# N" R+ }9 Q1 o, T7 u
User-agent: *# {. ?: W: P0 q# V& z
Disallow: /0 Y& }5 f; h+ t1 l# w
. g. E4 f1 F9 y: e$ ~, O4 S' V8 z
User-agent: Google*,Yahoo*,msn*,.....
( Q! t7 B* P. s; n8 M/ mAllow: /, F& K9 S: {& a5 E5 @
Disallow: /mulu/9 M0 E/ S! T5 C' v- M# |
Disallow: /*.css$
7 c  a7 E: K7 O1 ~) L( h4 z4 E- R' I! b/ i4 c: `9 w
Sitemap: http://www.luosuo.net/old/sitemap.xml8 O  D; n: d3 J$ T3 p
- l5 V6 u% ]' ^- I: Q( Y
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層
' R6 g* a4 N9 C& t' _. E+ m$ I
User-agent: *
2 g9 k9 I& h0 k& c8 H: @8 TDisallow: /, p7 H# L4 c, S6 i

! P. @  s$ T" [# jUser-agent: Google*,Yahoo*,msn*,.....# v  @1 r  A' u: T
Allow: /
9 N& O, R/ _  M3 W" Q1 hDisallow: /mulu/& K, M/ q4 v" b/ D  C5 H
Disallow: /*.css$, u9 k) }* ^6 V# |

" `6 C/ E! g) V$ X, Y/ ISitemap: http://www.luosuo.net/old/sitemap.xml
. b% u9 x# p: @: F4 G1 j7 u; x) r2 e7 }2 u- g+ ]- z- V9 B/ i) ?5 K/ k
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧
, K0 Z+ U. e4 ^( X4 u" g
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。; }$ \+ K. M& K0 X! h- [
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基

GMT+8, 2026-4-30 22:43

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表