过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯
, R4 _6 u( {* _5 \% Y% D  }8 I8 ^1 \4 d* k( @
懸賞wordpress英文站robots.txt 規則的完整寫法, u/ F( |* w+ n) B+ Q5 q0 x6 m
按以下要求寫
$ w, v7 M: k$ _% Q1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止& T% ]: _/ A* X6 W/ s. B
2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本* _7 t# Y6 d# _4 e! @4 n% L% r
3,  Sitemaps文件% j7 Q9 B% W/ c0 ?0 @
  e9 _/ S% ^9 l4 C- K
: b5 u3 J6 k) y9 h8 i2 y. ?8 e+ I1 x

! H5 o# T* Q: Z& E9 _
1 V2 ?3 }" ], y2 M0 }' x- _
  E8 ~, m% G; K8 v( z) f& J$ ]8 i' l) h0 a7 c; U& V% V5 [2 S6 l

9 w# v4 O$ T' v1 r# y  y6 C4 ^9 `1 d

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯
3 u8 {" j( R2 z- Q2 f. L3 O" @, h; S6 Q, |4 ]
User-agent: Alexa*! [5 l  h( _* r3 Z+ J
Allow: /" l% ]$ n/ \4 {+ C5 Q) w# k$ G9 o& D
User-agent: Aol*; i% r) q. q3 P9 L; ]% V
Allow: /
% c. m) c! x4 H1 X4 H1 T* r9 wUser-agent: Ask** r1 B+ c' A- Z% }
Allow: /9 x& ^1 [1 L# F
User-agent: Yahoo*
0 X9 S- n: c5 n& YAllow: /
% b1 ]# P2 A  h( x* ZUser-agent: Bing*
% m8 m5 G" b3 @7 t' ^; nAllow: /" Z. [; L# W6 S% R8 I  ]
User-agent: Google*# n. o) ]$ r* P2 J1 @6 x
Allow: /
9 G7 W9 \( m* }+ J. N& C; w( g5 e) X- H  b/ @; ?
User-agent: *
: j& {0 Z+ ~1 GDisallow: /
2 }6 A* T) p9 o( }, C  MDisallow: /*.php$& ?/ z  ~6 T* H. Y) f+ K
Disallow: /search/5 i$ P" U, p, ]" C
Disallow: /tag/*?*+ m0 f5 c, |! n5 c; N
Disallow: /*.html?*
" T" `! |6 D5 G$ BDisallow: /page/*?*( A$ \3 O. E( I( w; L
Disallow: /wp-admin- d2 T; c9 o: M) }6 n+ [
Disallow: /wp-*.php
0 z) o& c% E5 {1 {3 [Disallow: /comments/
* \/ s( K* m) `) A% aDisallow: /trackback6 l' a0 T$ f" }( A- r
Disallow: /*.html/*?*, K4 j" M% j% [' d  k
Disallow: /*/trackback8 w8 A% g0 q8 W9 K, i+ ^0 a
Disallow: /comments/feed; z: i. T6 s2 W* _+ E
Disallow: /*?replytocom=*
/ F- @4 }, d, g! Z% rDisallow: /*/comment-page-*
& F: h. ?3 J5 `( c3 s0 W$ M' _& Q1 C3 b
Sitemap: http://www.luosuo.net/old/sitemap.xml) p! Y5 c5 t/ ?
很粗率,完了上robots驗證驗證一下或者麻煩些。。。
& x7 U8 E  H  J' ?
  X3 X8 M1 A% g" l8 |1 x& m# P+ s' SUser-agent: Alexa*; l( N# c5 }5 t$ C1 e
Disallow: /*.php$
) u2 b5 X, G) V/ L. x; mDisallow: /search/
$ J2 \# z+ g6 D  T( u7 }4 i  M9 ^9 yDisallow: /tag/*?*+ K& K6 i4 G1 u" I
Disallow: /*.html?*
# H1 I) f8 P! o! eDisallow: /page/*?*
' E+ t: \8 H' \: v4 ~; rDisallow: /wp-admin8 N; z8 j, C% p; R4 A( O+ z% J
Disallow: /wp-*.php
9 @0 r! \/ c+ j* e: rDisallow: /comments/
% i0 V$ o" D5 u% Z' oDisallow: /trackback5 S' K: z  g- C1 e! Q' n
Disallow: /*.html/*?*
* [* |' ^' k. N% kDisallow: /*/trackback+ o6 a# ^5 j- d0 M
Disallow: /comments/feed1 {3 n) A4 R3 w+ h, T9 w) {
Disallow: /*?replytocom=*+ K2 P) d) p# _
Disallow: /*/comment-page-*
6 K' h! y. i8 N3 {3 H9 S; e/ I) @+ L, u5 c
User-agent: Aol*
* Y3 ^4 X( l0 h" H0 |" a, ]# k9 f$ \Disallow: /*.php$+ x- @% L9 K+ S, h6 A$ h- G
Disallow: /search/
; g& B" a) I( c/ _Disallow: /tag/*?*
/ F% a/ Q5 T3 l* MDisallow: /*.html?*; y( Q( U! z7 O
Disallow: /page/*?*# h$ |7 i2 O5 N6 T3 S% A6 [
Disallow: /wp-admin0 ?9 g0 T& h7 z3 t0 E7 k( s5 j
Disallow: /wp-*.php1 _  H, N( Y. k, b
Disallow: /comments/) J$ b+ B4 e' {' c) H/ D/ P
Disallow: /trackback! U' R7 i; p+ Y$ C5 T+ j5 _2 ~8 p: v, B
Disallow: /*.html/*?*
( A; _+ F" p/ `( j; WDisallow: /*/trackback
- ~( x( X" g2 ]6 l  EDisallow: /comments/feed
) S" N# W% n, h# yDisallow: /*?replytocom=*& ~, L, n5 ~% s
Disallow: /*/comment-page-*( m3 E5 r! K/ V2 ]5 e5 \4 @
- w- h7 t& Q# N+ a6 M
User-agent: Ask*
' a2 p+ x8 t" W& K. D2 tDisallow: /*.php$
# ]! F, ~4 l3 U6 F3 zDisallow: /search/+ A1 m6 |( |$ ]" ?5 I" e& X6 T
Disallow: /tag/*?*. x! S* O; g% |$ K
Disallow: /*.html?*
( M' J' ?1 l+ c& y  s8 ~Disallow: /page/*?*6 ]1 q& _8 {( D* z9 ^1 T
Disallow: /wp-admin
( m# ^6 @9 m  `+ cDisallow: /wp-*.php
) Y1 n& h2 k9 |  B- ODisallow: /comments/7 L' L. Q( V/ x( j5 d
Disallow: /trackback
2 F$ X5 p8 \, |$ BDisallow: /*.html/*?*
5 @: B8 m* p2 v$ `9 ?Disallow: /*/trackback" Z; t3 E( U. `- W1 j
Disallow: /comments/feed( }* c( x5 q: u6 F) f& g9 i
Disallow: /*?replytocom=*
0 O  X0 q8 n  I: Q: }7 s% WDisallow: /*/comment-page-*
8 D" D1 ^8 K! R$ ~7 |  y
" \7 d- H, {6 g+ I! t" }" pUser-agent: Yahoo*& L' T# y* K8 j/ G3 C, @
Disallow: /*.php$
4 s  R' L" f7 K. c$ h& ADisallow: /search/' x5 }" f4 j0 t' \( H' E' ~& c' P
Disallow: /tag/*?*
, |  h- R8 P8 VDisallow: /*.html?*  @- J6 ^7 o% ~% H' Z9 R1 i/ G
Disallow: /page/*?*
3 v5 j; T1 e! pDisallow: /wp-admin
, L3 O4 r# h- @4 W- IDisallow: /wp-*.php3 O, @/ @- a* D+ q! E: V) J
Disallow: /comments/
& E  E% w, k2 h: W3 i+ Z# IDisallow: /trackback9 |  I* P4 X! o8 n2 `9 _: G- ]
Disallow: /*.html/*?*
" S- g# b$ ]( l3 Y4 M; UDisallow: /*/trackback$ p. c4 ]3 W: m0 G' ~
Disallow: /comments/feed
! Y3 {8 d0 z$ u; PDisallow: /*?replytocom=*
+ n; j1 c. K) P. k" e& k8 BDisallow: /*/comment-page-*
. z0 X2 k9 y& a* ^: E* S% F  ^% q; R& e' O& G4 s1 ?
User-agent: Bing*
8 K, j0 f( ]7 cDisallow: /*.php$
/ M+ n, q. b7 L$ X0 @! Q% u# LDisallow: /search/' b3 @/ p$ `9 ?3 [; @7 @2 N* E
Disallow: /tag/*?*
$ t( G. W! y, @. B! M, HDisallow: /*.html?*
2 O7 R1 {  \2 i2 ^4 C& IDisallow: /page/*?*( \& N: y6 x5 p  y) A
Disallow: /wp-admin( p$ a" E& Y  E8 D9 Z# v9 h9 q" M
Disallow: /wp-*.php6 t  _6 z3 o0 [
Disallow: /comments/0 g8 s/ K4 A, {- H" }: Y
Disallow: /trackback6 L' i1 }5 d9 t0 n- X
Disallow: /*.html/*?*
7 J: @& X+ |* T. B& P" [Disallow: /*/trackback
" e" u; M6 ^0 F+ n) aDisallow: /comments/feed: ?  H; V/ ]" G6 Q6 ], g
Disallow: /*?replytocom=*
& T. [" t; D1 D6 rDisallow: /*/comment-page-** A* W* I+ f( J+ Z& C- U+ g2 X
" D+ I1 A# W! D0 z1 ~
User-agent: Google*
9 W+ z! Q: r, ~: ?* J! b# ZDisallow: /*.php$
& y6 G9 _' o4 h( ~) Z$ O- XDisallow: /search/
' \/ N5 i/ t: @, NDisallow: /tag/*?*& s2 l' {/ x: |4 I
Disallow: /*.html?*" l7 Q7 B' E# I, Q
Disallow: /page/*?*4 j* K: b2 a: X. z
Disallow: /wp-admin
( E! e( V. d; ?8 c1 q- i9 i, b' E* cDisallow: /wp-*.php
' a% h  {0 s# y# [3 aDisallow: /comments/
" d: @+ g" ?& K/ _  f* o. uDisallow: /trackback# \& H# h, P+ `* S9 d
Disallow: /*.html/*?*8 s# w! T$ G4 m1 q, L& x# |
Disallow: /*/trackback7 c; J7 Y1 m3 n* H9 B# r
Disallow: /comments/feed4 J" W! x; m' R  t( a
Disallow: /*?replytocom=*
" j; m7 [& E& v. u5 t( g/ NDisallow: /*/comment-page-*0 {  ^7 y* P: u0 t) ^; K

7 a" O$ E2 \! A4 X# _( O) e' hUser-agent: *
4 h% s1 n2 N5 G6 M7 HDisallow: /) @$ w/ T0 `% K4 ^; R0 m5 |+ ]
Disallow: *
5 X. C2 l1 P3 n- c& }2 h* V  i9 V  F: }' w. y& @, T, o# ~. o2 q
Sitemap: http://www.luosuo.net/old/sitemap.xml2 g3 G# c6 n& J3 J

! I/ k) w5 Q/ b- e8 b0 [6 G6 l8 V% U' y; u
; }$ S7 g' c; |, E. z3 f" k6 `8 S
0 F# z( V1 F+ {4 @6 k
3 U0 H) O& n- N& l8 {8 R7 k" J

+ F8 t* O, e; n" G1 W
1 h5 U( a/ c; t1 m2 k7 `* @
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單* J3 j2 t, L) J* r1 z3 Z
2.google下各個ua
( m9 ~8 ~9 Z. D2 V/ h4 K; {9 `0 n  r# o
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯
; U3 e  ^' t, |( i6 {  c7 K2 P; R, W2 i
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
% d# X; @5 O+ B' CUser-agent: Googlebot
$ g: G  c# G$ b- P: @$ O# PAllow: /
+ D0 j' ?+ o: P( ?Disallow: /mulu/
* v6 m% d2 W: E7 pDisallow: /*.css$
( u- i7 f) r# K7 e9 R
% D1 K) y" N/ [1 V' `
% e9 J5 Z$ b: f+ k5 Z" Y7 dUser-agent: Googlebot-Mobile
8 m2 q: W' P) t  X8 h9 }Allow: /
0 j; ~5 Z5 {, g5 P8 qDisallow: /mulu/8 p1 A' J; Z$ K3 X9 f
Disallow: /*.css$5 E$ I2 D/ A+ y9 V2 M
% g: {$ }: g, [; T
User-agent: *
, h. `! [# W. V6 aDisallow: /
8 E4 Y0 \8 o7 C* o9 F! N. _, ?& _) G6 [8 D; q7 T
Sitemap:http://www.xxx.com/sitemap.xml' c$ V& }7 k1 t4 y" L- p( n
其實百度百科裡面寫的很詳細啊。。。
; ~0 \2 q% K& c7 P& Y7 fhttp://baike.baidu.com/view/9274458.htm#3_1( E: p& q, p+ z1 v6 ?( {
! w/ K: }3 q: u4 s: i7 t) Y
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39
3 r5 f# P: W+ x# S7 H只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。1 I3 M" W. H' P9 `9 c: L# ?
User-agent: Googlebot' n+ c0 V1 a; f% F& M
Allow: /
' B4 k7 M. {: W, c) [" {4 s- y/ ?* |

9 k+ j" a" O. m7 @( W8 [( UAlexa, aol, Ask, Yahoo、Bing  ??
/ c# R+ I' L3 E! K; X9 Q2 Z+ K
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將& y, }0 ^. t& {, O$ c
User-agent: *1 l4 y5 o; N) k  w" [! H
Disallow: /6 _$ L! S1 ]- L' L; G* l6 ^

1 e7 ~! s+ G! i# v0 ?放在最前面吧?後面的設置會覆蓋前面的設置?( l3 d4 R$ M1 x( D( H
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層
( z0 x! B3 W- C0 r9 ^  ]# s. I
User-agent: *& r/ W/ D1 |* O3 R7 {
Disallow: /9 I; d# p0 J7 |8 T/ m4 c% J
. y* M2 j* b8 U( N5 `2 Q
User-agent: Google*,Yahoo*,msn*,.....
  H" J  F" q& T' a0 x0 rAllow: /
' i8 p% q- T) y, g1 u& RDisallow: /mulu/+ [0 J  t: U9 |, `" i) L( ~
Disallow: /*.css$) c: n  E# u. b
" T/ J& u  T) V' W9 ]  |
Sitemap: http://www.luosuo.net/old/sitemap.xml, p! ?) k0 K8 q- T7 P4 p% |' z  o3 n
' o% w  E1 v: z) y2 O- a4 N! Y3 M
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層
5 C# ~( D" T9 x3 L4 _
User-agent: *4 X  A% K" p$ j- b; H
Disallow: /
( q1 N2 [& ?) l
6 ?! V3 u4 z' P. I' ]User-agent: Google*,Yahoo*,msn*,.....
* ]# M* D; P) P2 ]" d6 [Allow: /" E- U9 X. e! C; q( Q1 R" M6 _: M. p! F
Disallow: /mulu/
' l' X. @* g' [0 {" yDisallow: /*.css$
4 B# @8 X* \9 g* |+ A/ x) r- ]
/ e6 T% _" H) S8 U, x# uSitemap: http://www.luosuo.net/old/sitemap.xml
6 w$ r- n! i5 c$ m1 \& ~9 n6 p/ w
5 k6 w1 }( R" n
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧
0 ~( x5 a, R# o; g3 J
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。6 j- Y7 r; r% m& ~9 z" p
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

點基跨境 數位編輯創業論壇

GMT+8, 2025-5-11 17:02

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表