过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯 4 T6 O5 V% \9 M( @2 b

4 G7 e* T) C1 d3 Q- q9 W懸賞wordpress英文站robots.txt 規則的完整寫法8 F6 M; C" X8 |' i. M: H
按以下要求寫
8 |7 |0 X3 o# {% C6 j4 o1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止8 t# R& e* ^) f4 N1 h9 r( F
2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本
1 t+ x  @6 u# h& {+ N0 r, z3,  Sitemaps文件% a( ~) L. d. M5 h, P+ W
: P  i. G; u3 y
! g: G! ^3 ?5 P7 A

; {' i. B1 w0 z+ O+ A
1 H. I$ @' x& @5 N
1 B% x8 p( V- W$ o/ K+ g9 `  @: |' R# }' v* u7 c
  s- W: u8 [7 [. @# _* m

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯 9 [9 M5 i; T( q' P6 O# q

1 J2 j" E# T  JUser-agent: Alexa*5 B( b" r+ Z5 W. I5 ~! [2 V
Allow: /
7 ]+ B: }" z, m# ?User-agent: Aol*5 k. Y0 c( g, g# ?% b5 W% [
Allow: /
1 |+ M. H* @8 A8 T7 dUser-agent: Ask*
* f: Y1 Y, O5 w5 y! UAllow: /% U0 N) i1 @8 |
User-agent: Yahoo*9 U! ^: D/ V( B7 b4 W
Allow: /4 w2 d& W+ Q4 u( k
User-agent: Bing*2 u9 n) u) q& L2 n  H
Allow: /! V# ~$ M& V; t  e& ~2 D
User-agent: Google*+ X) l: e# W1 R2 ?. O+ m
Allow: /
8 X+ d# m" ~/ _( r. |, s) m$ f# Z1 {2 o3 l; H. D
User-agent: *
( r' `- B" j# N' bDisallow: /
( X" G7 S  {- T8 H3 ?4 g, n5 u! mDisallow: /*.php$
$ }! D4 k- a' n- |- D! h& oDisallow: /search/0 F; U3 ]/ E8 O) F; D2 A
Disallow: /tag/*?*
+ m- C- `! S" V3 O5 e/ e" }Disallow: /*.html?*
7 d; z/ e9 N  f# L4 g9 xDisallow: /page/*?*
+ K- g3 ^7 V# \/ u% V% y: e4 YDisallow: /wp-admin7 J1 M% g/ \  u, N1 x$ {
Disallow: /wp-*.php% Q7 M% r* e5 ^! V# x5 ~
Disallow: /comments/
5 N# X& O! k4 m1 b0 {Disallow: /trackback+ y5 Z, u, J7 P$ D
Disallow: /*.html/*?*
1 p& _$ {5 i2 N3 F) iDisallow: /*/trackback' C7 Q, L+ `3 y* v) H4 u# `1 [
Disallow: /comments/feed1 s; i% R& N/ W% J" r
Disallow: /*?replytocom=*" k( m# \. |. g" ~6 j  M
Disallow: /*/comment-page-*2 G5 f5 L5 \* _; v& L9 s: p
5 V- M  Z" L6 T% ]) P
Sitemap: http://www.luosuo.net/old/sitemap.xml
. r+ u2 w. C0 H/ R- l很粗率,完了上robots驗證驗證一下或者麻煩些。。。1 U/ w  Q# D5 {! r/ ?

/ N! G5 E: w8 D) ?7 ~. {8 FUser-agent: Alexa*& O. }  c2 ~8 j/ N
Disallow: /*.php$
' D3 Y% h2 Y- P% l$ V* qDisallow: /search/% P" p8 j; q3 m
Disallow: /tag/*?*
. S  ^) J8 O+ v( }0 ^8 tDisallow: /*.html?*! L# ]) z  r; ]
Disallow: /page/*?*+ A, h+ S1 D+ \9 i& W$ j
Disallow: /wp-admin
3 K6 q$ n2 n  J, a2 [Disallow: /wp-*.php
5 ~0 B$ J, l5 j4 \7 \; mDisallow: /comments/$ F" C) e( T, }# O. v! {' E
Disallow: /trackback: R( P+ m' u+ ?2 [  E1 A$ i
Disallow: /*.html/*?*
8 m3 O# n# \: m" d. T& mDisallow: /*/trackback
# r$ a! s2 R6 C- N: a5 t8 vDisallow: /comments/feed
0 m, w' h9 Y- F) Q0 u2 H; v2 LDisallow: /*?replytocom=*  o+ H. o1 i) h4 ]* M* ]" K/ e
Disallow: /*/comment-page-*
7 y# _4 e1 x( E5 f5 j+ y6 g4 w  k5 v/ y4 m6 }# d
User-agent: Aol*; S' a4 D, ~6 G2 F9 P
Disallow: /*.php$) n' U& m5 O$ T% Q: D1 s- e
Disallow: /search/
, h( K7 Q  @8 ?" Q) S1 qDisallow: /tag/*?*
. E1 u7 v. O: n9 K9 X0 @0 p( X7 JDisallow: /*.html?*
/ @7 }) ~8 j3 kDisallow: /page/*?*5 F, v6 h1 @, d  m+ ?' G9 s! E
Disallow: /wp-admin& c# V1 X) S1 i9 D. Y4 c3 R: z: l1 S
Disallow: /wp-*.php. c* Q* j4 p7 v% G$ C
Disallow: /comments/
' }7 h+ `6 w+ X' VDisallow: /trackback1 b6 E& P2 D$ z# \" |
Disallow: /*.html/*?*
+ Q- \; @, j: d  K+ UDisallow: /*/trackback
" n0 w2 W4 Z: M2 R4 N- @7 nDisallow: /comments/feed
* l' y5 R, n9 ]1 m5 sDisallow: /*?replytocom=*, c+ e* |2 e& x! @6 p' z
Disallow: /*/comment-page-** x  l) k8 d+ u' h) y, S) L
5 W" G. D9 C& |
User-agent: Ask*
& O6 \4 r% [6 W5 H2 x+ q- l) H1 J3 vDisallow: /*.php$
# N' W7 m" v- f) wDisallow: /search/
; A# A4 o+ ~2 @) T& f% v% fDisallow: /tag/*?*
; k4 D- u/ i0 k2 c# V  F% s1 x4 NDisallow: /*.html?*- ~! z! B6 {1 b4 ]$ C; Y4 s; |
Disallow: /page/*?** R: h2 p6 b" ^# ]" h
Disallow: /wp-admin
' i- V6 D4 O( [5 _" w/ G: T. jDisallow: /wp-*.php
5 \8 J; u. q+ b4 J2 hDisallow: /comments/- h# O" o- P! Q: W& e
Disallow: /trackback! X4 p8 _' ^+ J3 q1 d$ @6 Q
Disallow: /*.html/*?*' e0 j" V" Q9 S7 G' r
Disallow: /*/trackback
' l* W; o& {2 u' j4 SDisallow: /comments/feed( j/ B9 I% R, ]2 h
Disallow: /*?replytocom=*- M# ?7 o3 N2 }* ~: h, R( Y
Disallow: /*/comment-page-*
! [- g# W& P& M7 I8 E# ]1 M$ Z7 H7 ?: \, M0 U4 ~
User-agent: Yahoo*: q- o- c) r/ {
Disallow: /*.php$
2 ^9 P, R" L& U; {: y1 qDisallow: /search/* K+ K, g* {2 }0 r0 `% |; N
Disallow: /tag/*?*1 i- Q; \7 ?5 t2 n# {) r
Disallow: /*.html?*, Q+ [- K: ^; ~1 h
Disallow: /page/*?*- |% c( t0 b7 y  ^
Disallow: /wp-admin
8 A5 [* \  E1 x3 CDisallow: /wp-*.php# S3 d- U  V" r6 j; ]4 F7 P1 r- b
Disallow: /comments/
! K' Q6 t' c- D# C7 ~6 CDisallow: /trackback, H5 t8 }! b6 L; O& N' z
Disallow: /*.html/*?*" r- \: J5 b/ x0 W
Disallow: /*/trackback
/ \% [, m9 j: `  a+ l) vDisallow: /comments/feed
9 F! _0 P0 N* f2 L! ^* P9 `Disallow: /*?replytocom=*! T+ W! n1 `. E. z; D) d' A) E- x* W
Disallow: /*/comment-page-*. b. U7 ]0 g; E' W. Z0 B
1 K; I8 h/ R8 |
User-agent: Bing*9 }: b( M% G( d2 F
Disallow: /*.php$
7 g: G% g, Z' S$ X. i/ WDisallow: /search/' ]# o1 k7 n7 [: s- b, }: J
Disallow: /tag/*?*
$ E0 Y& c3 \* n0 h- G6 _* d5 m% EDisallow: /*.html?*1 h% y! \$ h& K1 E7 {) }, |9 @1 u
Disallow: /page/*?*
8 D4 s+ N1 I! l, N) ]Disallow: /wp-admin/ B0 _; M% S* y
Disallow: /wp-*.php
6 }; X" b  i. H9 cDisallow: /comments/- I+ B" L! O  E6 X; o5 ?5 g7 x
Disallow: /trackback# l# \1 n/ H2 r# t- i7 |
Disallow: /*.html/*?*
+ H/ J. m% s8 ]1 dDisallow: /*/trackback  x; k4 b' D& m8 m) k5 t  O
Disallow: /comments/feed* H) S) L( T0 n# w6 U
Disallow: /*?replytocom=*  l: b/ n$ n7 s8 |( U4 i" h* x
Disallow: /*/comment-page-*  S5 w' r# p; |

& m5 i7 F% m: `. mUser-agent: Google*
# \. f/ u7 z3 i  ^# M* }) UDisallow: /*.php$  C# I& w: \1 B) p! [
Disallow: /search/* e$ _: F+ V) h* L$ @/ m
Disallow: /tag/*?*
# S2 e/ ?1 V/ b/ bDisallow: /*.html?*, Y# x4 M; E9 f$ |6 [
Disallow: /page/*?*( s% D3 g* J' O7 l1 j
Disallow: /wp-admin
# x3 |4 k7 u8 i  I! [! Z$ ?& eDisallow: /wp-*.php
+ \. `2 g. w' x& jDisallow: /comments/
  e' y  P* N! K; W$ @Disallow: /trackback
+ c  b" N% n# R4 ^2 M! P) _% tDisallow: /*.html/*?*6 w% ]( s/ X8 y" M5 y- o- g' f# J
Disallow: /*/trackback
( v8 `4 o; f$ ^1 g1 ^8 F! P- E8 R- |Disallow: /comments/feed8 P' j9 q/ g. ]" C4 n
Disallow: /*?replytocom=*
9 K0 n& h: F% T4 r# n3 D4 cDisallow: /*/comment-page-*
8 q. m9 b& ~0 O2 I) L
) A: e, _  N3 ?  C9 p% J4 BUser-agent: *
% T% }. J4 a  c% ?! U- fDisallow: /+ b1 }7 x: A4 ~. f8 L
Disallow: *
" H9 ~' E! b( A3 U% F6 S& U* ]# _
7 I- `+ ?/ k& i( t$ u3 e+ ^. GSitemap: http://www.luosuo.net/old/sitemap.xml
1 Y4 A8 G. v3 M7 h
4 C# |8 o( D# j
0 L0 D$ p4 A: u
% U; a" q$ g1 h  Q4 k* o& n) O+ ^

0 |  k3 D6 v) u
" o/ S7 W) p# d2 c6 p9 N' u8 ^3 \' t+ x( i' S8 Z- n
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單
1 {3 T0 [- s. E/ c2.google下各個ua
1 C' @5 R% O: S/ X% m* Q8 j& B: R* V5 ~
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯 3 i- _$ |# Y1 r) W. \

- j% M$ z( Z' G( k只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。6 t8 G5 |! w/ V" G( x7 j
User-agent: Googlebot
, ]2 V1 r- h- s* d' \Allow: /( K7 ^* X! ^2 F! i6 [
Disallow: /mulu/* P( k1 M$ c; `  V6 U+ p
Disallow: /*.css$# g) r1 u1 f' z# I* r

& ]3 |7 m* O& b$ b1 G. H) L
5 i0 I  Y: H. |! F, E; Q$ n  MUser-agent: Googlebot-Mobile# |' k8 z  \- I" ~
Allow: /
& R- E( H. Q' A7 UDisallow: /mulu/% x/ _3 A0 _9 q4 u
Disallow: /*.css$: d$ C5 L5 N7 _
2 F9 [- W# u) [
User-agent: *( E6 F: A. X9 g& G, n9 W8 {
Disallow: /8 B! z! Y* k6 |1 @! |% q
* ]) {4 d! A7 d$ ]9 q9 ?
Sitemap:http://www.xxx.com/sitemap.xml( |; l- d6 p- G3 T1 J8 H
其實百度百科裡面寫的很詳細啊。。。
) N$ D) h: p  v3 M' t8 ohttp://baike.baidu.com/view/9274458.htm#3_1! f9 t) F0 ?5 s1 I& Z  n7 G

- L( w9 ^1 ]; F+ s
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39 ' l3 @$ k/ O8 L5 k* S% H& _. X
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
* X* E3 ^1 h! y/ [/ b' wUser-agent: Googlebot9 t) T% ^; |% x/ `2 P
Allow: /
; x- I$ ]7 w- V1 v( _! Q% k

5 ]* t( l% n# _3 z1 UAlexa, aol, Ask, Yahoo、Bing  ??4 u3 ^8 z2 }  D7 q
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將
8 {: B& K* j& n8 F& s2 sUser-agent: *$ h6 g  i1 n) ~7 ?- ~7 v
Disallow: /
7 E+ q5 q) d! R% O5 A
* U4 X* Q% }: x. Z: \放在最前面吧?後面的設置會覆蓋前面的設置?
) M$ a1 d; d( O* N
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層

9 T9 F! f2 N: `2 M4 BUser-agent: *
( w. F: x7 K) n/ D! C/ xDisallow: /  h  b1 S( f: b" s) _+ p/ u1 e
; @! e5 U+ ]) T4 z7 J4 ^0 @$ T! M
User-agent: Google*,Yahoo*,msn*,.....9 {: X1 u) U3 k
Allow: /2 ]# ~) [- L% J& @5 {, w, A
Disallow: /mulu/8 l' @6 }+ r2 Y
Disallow: /*.css$
. ^6 K& S# z/ C& Q! g' M3 c: n$ g' Y/ P
Sitemap: http://www.luosuo.net/old/sitemap.xml
' U2 D. n8 F- n# L
' Z' O8 G' l% b1 n7 I
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層
4 \  ]' v' Z% m0 _+ g) y
User-agent: *
% J) _  L0 b8 U9 t9 o7 Z  HDisallow: /
( S. p5 a0 z2 y
" r  x! Z0 {0 g5 S# R: K0 K4 `User-agent: Google*,Yahoo*,msn*,.....
+ e2 `+ G! P% y2 i8 f. hAllow: /3 I( X. v4 ]; j, c# h- A6 Z% s
Disallow: /mulu/
0 [5 F  _% q0 F, o; i0 e, [) fDisallow: /*.css$
) z5 k3 I6 Q6 |
9 h! {1 C- d2 f' ]  Z& zSitemap: http://www.luosuo.net/old/sitemap.xml7 [0 g2 W2 |$ ~* C+ d
% a/ w4 t0 j5 N; W
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧* w! P3 p+ {' V# [$ C+ u/ L( |3 |9 y4 v
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。; x" X/ D6 P9 c
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

點基跨境 數位編輯創業論壇

GMT+8, 2025-5-8 08:20

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表