过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯 3 K" k3 h* `6 b2 u- s" j8 D8 a, h! `
: ], P7 N" x  T/ y8 U3 L' J6 H# s
懸賞wordpress英文站robots.txt 規則的完整寫法, }+ ?6 K7 `+ p: b) J& U2 ]$ F$ Q
按以下要求寫
7 Z2 [- i- O1 l/ z* a0 D" k1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止
" U( }! C: a6 W3 E2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本
- ~$ i3 F0 x& s3,  Sitemaps文件; k( P5 f4 v1 c! l6 q: Z. M+ k

  r8 Z: h9 w, k: H# L9 C9 ?7 C+ ~( e
# v$ J1 |; q. S" J$ ]
" F9 \( ~. \6 S) y. B( S+ v* F; W9 S' P4 ^# S! H1 Q
3 d* M" j- G8 ^# j7 Q1 }

9 m  @0 V: Q# y7 i
- e# T; I. M  |, a3 s

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯 & i9 {3 B/ [$ b$ {% H$ d
4 C) p- A! [% G( u* P+ T4 x
User-agent: Alexa*9 m1 d) [+ V# W* f! X7 `
Allow: /
- [6 R) x; B$ C( `User-agent: Aol*
5 o  Z5 I' p, |& V( D1 TAllow: /
0 a* h/ S/ O! @/ L& FUser-agent: Ask*% h: b5 \+ [* K/ T5 i4 J5 R! L
Allow: /
3 u. B& y( o2 h0 U  MUser-agent: Yahoo*
8 \2 {! c& w) _; I- xAllow: /
3 m$ f' r% a. m7 J) X; F! H5 e7 h5 gUser-agent: Bing*( q5 Q/ m3 N, z4 Y- `
Allow: /" U" p, t" D! z/ D
User-agent: Google*" C4 I1 S& q1 E/ i
Allow: /' ^- N& ?* O: x  Y5 @" g( p' L' V
/ ]  |/ |# m! @: u
User-agent: *0 q* U1 L7 ]5 p2 Q
Disallow: /7 `  o1 a: K4 h/ u+ G8 [
Disallow: /*.php$
+ d7 v; V7 S' J8 ODisallow: /search/) f$ F: {- B& g1 k# Y  I
Disallow: /tag/*?*
5 g. v) x' n; J6 d# i0 g' cDisallow: /*.html?*9 C3 E) ?- _/ J# [6 l' F$ z' l
Disallow: /page/*?*
0 z7 z% k4 b7 D( g  GDisallow: /wp-admin
! C' R9 e8 D5 u7 h  VDisallow: /wp-*.php: H! {7 B7 |! h  x4 e! s. L8 H
Disallow: /comments/
; W  i3 j( ~  r2 j+ cDisallow: /trackback; E8 j3 @& v1 C$ r# m0 e' F: E
Disallow: /*.html/*?*
0 J  f8 G0 \2 D5 IDisallow: /*/trackback
' j! b* v  v  R* FDisallow: /comments/feed8 H5 [' c; t, O+ w0 _8 ~: q
Disallow: /*?replytocom=*7 f9 C. e* |8 c9 p/ ^' y
Disallow: /*/comment-page-*
0 R5 T  m. }6 |9 {8 o! u
" e' e* r, Y* y5 aSitemap: http://www.luosuo.net/old/sitemap.xml% }% S0 R: _+ G& q9 [3 r
很粗率,完了上robots驗證驗證一下或者麻煩些。。。
+ i- l5 K& h$ N0 f! ]
! V( P# c& u0 R  Z% V: AUser-agent: Alexa*
* `5 J5 Z) \3 @Disallow: /*.php$
; Z( c' i# n: ]) M& U$ iDisallow: /search/
8 K( l: o/ H4 R' T' K0 f4 ADisallow: /tag/*?*
9 j2 Q; p* Y( w$ i$ BDisallow: /*.html?*
2 l9 t5 R6 l" w1 p9 TDisallow: /page/*?** w6 ^1 d6 U0 \. }
Disallow: /wp-admin1 q. Y2 `5 x/ b0 b/ t: e4 @* I
Disallow: /wp-*.php  [7 `5 \1 l* a, A
Disallow: /comments/
0 b) c9 b, j* T0 Z( ^Disallow: /trackback
$ {( J+ g& c( H, O& @5 NDisallow: /*.html/*?*
; Q& a0 D" ^0 H4 i: DDisallow: /*/trackback& A5 B& ]2 j( y0 j5 i( W( Y2 O8 t
Disallow: /comments/feed
/ n0 X' Z7 t3 X: dDisallow: /*?replytocom=*
2 X' S2 X; S' q4 h0 f) C6 YDisallow: /*/comment-page-*
7 p4 r- b# P# ^. U& E, q- @+ m+ I/ F5 e: U6 P
User-agent: Aol*. o! J6 ]7 i# a
Disallow: /*.php$
! v: Q% K" i2 Y9 \+ h$ NDisallow: /search/: y( o" _# T/ |2 s5 X; j1 Q
Disallow: /tag/*?*
2 A4 }+ ]2 [" c' Q6 ]4 w$ R4 O4 MDisallow: /*.html?*
3 Q2 z% F/ X+ m% q9 u* aDisallow: /page/*?*3 n/ x$ C% w: ~) I) V
Disallow: /wp-admin( O; m3 Z7 T$ C1 a) S; w3 }
Disallow: /wp-*.php
  i3 C1 k- e; NDisallow: /comments/. ?5 i+ ], ~: g4 q) D. N5 s
Disallow: /trackback
2 t2 N& r" P$ v& _: L( k1 A% n5 TDisallow: /*.html/*?*
. s4 s$ q2 ]2 lDisallow: /*/trackback
3 b7 F" \7 i! a: h& I* i" _Disallow: /comments/feed
( n( ?2 Q- q6 L8 Q! C" ~Disallow: /*?replytocom=*
: R7 L% z/ R) ~$ M  r2 gDisallow: /*/comment-page-*/ _+ M: P. w2 l

: q; w" a* E: J, fUser-agent: Ask*# q; o6 t" e7 u+ t$ q1 F6 ~
Disallow: /*.php$
& R9 C5 y9 n) |: K- o) G. t# CDisallow: /search/
' T/ _6 @4 C5 N, ]Disallow: /tag/*?*
4 z, x, I) |' ^) \% eDisallow: /*.html?*# d9 C* J- D# e' O; m: O% @" y) [$ x
Disallow: /page/*?*
( d: T) l0 U( I' F7 w  RDisallow: /wp-admin
% Q2 H" C+ c1 T5 RDisallow: /wp-*.php
  g) ^: F7 D1 h( L( b; z: wDisallow: /comments/
8 w7 _" T9 A% YDisallow: /trackback
6 _& g6 u* Q( h0 w$ ^3 D! d/ VDisallow: /*.html/*?*
8 {7 l. n2 [, D6 R7 hDisallow: /*/trackback
) Q/ k* H7 Q4 x3 o3 a4 ~0 q9 _Disallow: /comments/feed
  o- K3 g$ f% n) \$ X1 d8 gDisallow: /*?replytocom=*
* U% z) ~7 i; @, A& q* zDisallow: /*/comment-page-*
; m# K% T8 q: M0 n( X2 W$ L' ?- \8 [; c
User-agent: Yahoo*
" O* \& m+ b- o  c1 V$ UDisallow: /*.php$
% D& {, V  G! b; Z$ gDisallow: /search/
" W. Y# ^( O& Z5 s3 K+ XDisallow: /tag/*?*9 q( x' w4 U4 {; u7 j
Disallow: /*.html?*
' p7 b* q9 f" LDisallow: /page/*?*
' J& W' g! E( H9 _- G0 E& ADisallow: /wp-admin# A8 u) a1 V4 k* U9 `% Q
Disallow: /wp-*.php( K, c. k  i7 x8 |) K0 P
Disallow: /comments/5 W2 Z- d+ O* l  D
Disallow: /trackback
; A& t( |* p0 o1 x+ IDisallow: /*.html/*?*
$ V, v2 [3 [: [" ~" bDisallow: /*/trackback7 ~& d: V  h7 ^9 |; Z# W
Disallow: /comments/feed
( h- o. f5 u% l0 HDisallow: /*?replytocom=*
* p6 b3 S" I4 O& z3 c6 ?Disallow: /*/comment-page-*2 a% |' J2 _6 E
: Y3 j9 v7 U3 T+ c. f2 S
User-agent: Bing*
5 b* W7 x  K8 s' W; J2 f0 BDisallow: /*.php$
% s  s' j) t3 T/ R5 bDisallow: /search/$ c! H9 v3 M% O  A4 E. P: z
Disallow: /tag/*?*- f6 U! [% R9 c9 X) `
Disallow: /*.html?*
" g/ [6 x9 B% g. ]4 x' `8 E& {2 ~Disallow: /page/*?*; A# V" X( ~7 j
Disallow: /wp-admin
6 f' ?  f+ e, H( q8 r3 gDisallow: /wp-*.php( @$ P- ?* Y$ ?0 `: _, D: x
Disallow: /comments/) N  K6 P$ j9 }8 |  c# Z7 X4 N
Disallow: /trackback6 s/ q$ D- `7 G- b
Disallow: /*.html/*?*
5 ^$ [/ f2 C( Y5 c1 Z6 @Disallow: /*/trackback( f$ C/ q. z; I6 |+ C( ^: P
Disallow: /comments/feed3 \! d$ e# N3 q; v( }
Disallow: /*?replytocom=*" L5 z9 X7 V. D4 `) N5 O5 F
Disallow: /*/comment-page-*
6 f/ m, a& C5 P% y
* ?1 g; U* O% o- v' v8 E+ ^- lUser-agent: Google*' D0 o  U. g4 o4 C# k& v3 A' l
Disallow: /*.php$0 W& q+ q, P9 h' G: [  d6 [) a0 Y+ `
Disallow: /search/
; a) b: x" x) @9 Q! }1 EDisallow: /tag/*?*
" H! S  o8 b2 w8 P9 k) n+ t. mDisallow: /*.html?*
  L8 x' ?2 a9 ?: @" Q7 P& r( d# FDisallow: /page/*?*$ a1 E% Z( }8 Q! y" G% ]
Disallow: /wp-admin# N: Y) I7 |- G7 P1 |! U& y
Disallow: /wp-*.php# ?4 v$ {6 L7 A% g' i
Disallow: /comments/
5 X9 n) q  _( m& p2 K, d1 {2 ADisallow: /trackback
: O: c& P5 [' ]Disallow: /*.html/*?*
4 Q0 r! B2 j+ |: [2 D7 `% s+ HDisallow: /*/trackback
9 F9 Z2 L% Y2 a. rDisallow: /comments/feed
; y( R! k5 x- d% IDisallow: /*?replytocom=*
7 ^0 J, U" d( J! ^1 pDisallow: /*/comment-page-*
# ]- o2 m) W3 ~+ N: }5 U) Q. |, W% u
User-agent: *8 I2 t8 Y/ l, ~3 X- n' ^; }+ z
Disallow: /
: U% t5 i; D( M7 Y7 sDisallow: *
2 ?9 \* ~* C5 E+ c4 r7 Q3 q: t( P7 K4 D+ T: I4 l; [
Sitemap: http://www.luosuo.net/old/sitemap.xml& M: e5 O3 t8 o9 q7 E. t

* n6 D/ X1 ~. X6 C9 N! k2 }3 Q' M
2 z3 L  d3 _8 W' J5 D- @
: x3 P" r1 n' b2 i
1 k+ O5 L1 {# v
5 A" `# h5 c0 T; c) H* v) P& Z+ k% [' ?# c% M) n. {8 ?

7 }8 \! q; m% n# u* W* @
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單
' Z# Z  _$ l" V3 u2.google下各個ua  q6 j0 k, j; J* S9 H
) X, `0 ~: |7 `3 g2 C
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯
# [/ O8 f1 e8 m8 R; j/ W: H+ [- a! o, [+ y# Q
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。4 `( y$ y1 e$ @/ Q+ [! d: G
User-agent: Googlebot
  a5 ~% s/ H( ]1 p# L0 }2 X5 rAllow: /
# n1 D$ n8 e/ R5 n( r4 g0 y. K1 U1 MDisallow: /mulu/
2 w0 F) O; X3 J! E5 UDisallow: /*.css$4 i' J6 T9 f$ Q* E4 ]  A  |

2 z7 x  X6 s6 j# S- e! u: N# q0 x) ^
User-agent: Googlebot-Mobile
, O% h, c6 E% s4 DAllow: /
2 l  b9 P+ q, e. H9 X6 PDisallow: /mulu/6 Y4 d3 X* f  D* H! y3 Q
Disallow: /*.css$
, O: u( l2 a- @7 r; B) \5 q& Z7 ^' ~" k% |+ L; ], ^
User-agent: *
* ?* ?) R; M* u' RDisallow: /3 F0 a8 k5 a& k

/ O8 v6 y" w9 [2 P2 gSitemap:http://www.xxx.com/sitemap.xml
/ x" T  o3 i+ @5 }其實百度百科裡面寫的很詳細啊。。。
5 `/ O+ `) E/ h' Xhttp://baike.baidu.com/view/9274458.htm#3_1
3 H$ x. W8 y2 O( N
  [& x3 G3 d& c9 j$ k) P! h9 \
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39
9 D/ o8 J/ w! O' Q4 ^/ }只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。" W: A2 F- u8 Q  v6 |+ Y- y. T
User-agent: Googlebot; _9 [- O9 e  Z: o$ ?4 y6 S
Allow: /

9 ~* [" F9 O+ L1 ?  l
4 L+ g) p+ r; ZAlexa, aol, Ask, Yahoo、Bing  ??
" I( p3 F3 w) Q8 l, U' n% W6 ^
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將- l5 h- [4 z# o0 x
User-agent: *  H4 T6 h% w7 J  R+ w) Q" t' h
Disallow: /
$ T9 q* c- B+ i+ G) z+ B3 W: q' T4 K: k( E: g7 H& o8 l0 T+ V* p  G. |
放在最前面吧?後面的設置會覆蓋前面的設置?
; p' N& Y1 l" X4 o, k# ^9 L
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層
6 L- I. R- ?) G6 ?, k" H
User-agent: *
  A" p9 ?' V5 @) X8 Y: d7 qDisallow: /
" H4 G+ N3 F  ?! ]  Q5 Q) {& s( _: e0 i: l7 Q% K1 F# G
User-agent: Google*,Yahoo*,msn*,.....0 p; G7 f& N$ C. R
Allow: /
# Z% B- X' e5 gDisallow: /mulu/' E" [8 g* d# C0 W' ^# W
Disallow: /*.css$: o% e7 c) w& @3 T
* y9 A  E8 x& J9 U/ r2 G, }* u7 S3 o: ~
Sitemap: http://www.luosuo.net/old/sitemap.xml7 j4 t, e: @1 @' S! P2 e

2 b( g0 G) Z% h4 C# {
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層

6 f9 X0 v& A" M0 TUser-agent: *
6 e6 G- L& z! E. x* `5 G/ }Disallow: /( D, h9 U% n/ e) k( Z  ]# J
; b7 ?6 s: v( S3 H
User-agent: Google*,Yahoo*,msn*,.....
" q; k9 q5 Z; C4 w8 VAllow: /& w$ t2 l8 P7 S7 x" X
Disallow: /mulu/
9 y. h, z8 A! lDisallow: /*.css$
  e2 @0 y0 Q3 y( ~% d" K% Z0 G$ E! L% G
0 U; U" t# ]( |& C8 U: V" CSitemap: http://www.luosuo.net/old/sitemap.xml
4 N, R; d! t$ ^- d1 R. W' L! w$ d4 g0 u% x9 Y
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧
7 p  C0 X  c& R$ _
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。. T& n* T, H8 ^4 `
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基跨境 數位編輯創業論壇

GMT+8, 2025-5-11 17:39

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表