过期域名预定抢注

用戶名  找回密碼
 免费注册

求助貼 我這樣寫robots.txt 對嗎?(wordpress)

[複製鏈接]
發表於 2010-2-2 10:05:35 | 顯示全部樓層 |閱讀模式
我用的是wordpress 我把wordpress目錄放在了跟目錄下 我樣像寫對嗎?- N7 c+ ]3 W7 D# T+ f/ s- T  E8 N
我的主頁被google收錄了,怎麼連我做的那個破flash 都收錄了,但其他文章頁面一個也沒收錄,是不是跟我寫的robots.txt這個文件有問題/ h. ^, d6 h( o8 N
謝謝,
4 z% ]* M' D9 S, h* K9 Z9 Y6 dUser-agent: *
  O  y5 f( M) @Disallow: /cgi-bin; ?& m% ^( o& u# G
Disallow: /wordpress/wp-
( q/ }& G$ y; g+ M. r) `Disallow: /wordpress/feed/9 [, j  U) e5 ]3 U
Disallow: /wordpress/comments/feed
1 [; o3 C5 W1 Z8 Q0 L" q6 lDisallow: /wordpress/trackback
# m- v8 I8 l- p; K$ c; p! K* KDisallow: /wordpress/comments3 d" i  z" ]4 Q5 I$ J$ m
Sitemap: http://sfood.net/wordpress/sitemap.xml
& f! E7 h; N+ OSitemap: http://sfood.net/wordpress/sitemap.xml.gz
發表於 2010-2-2 10:32:23 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 10:39 編輯 ) F. L* y0 R9 M3 U- w

7 i1 I$ V! n; a2 |7 J4 M$ C我喜歡加個wild char+ i0 Q4 o& w- E* z
像這樣
/ x: ~3 y' |* g8 I) f5 KDisallow: /wordpress/wp-*
% C: c! O8 ^; T  f/ D4 ^Disallow: /wordpress/feed/*
/ B/ [* O5 S- v$ L7 X; h: R% u3 h% F. C$ ?4 |* W
看樣子你還得加個
! f0 E) T+ K, E3 z/images/*0 t: C: c" K3 d: p. q) K/ ]$ u% e

* @0 L: L" i1 n* google可以辨別出來,其他的我就不知道了
! A9 p/ F' p3 o- S# C
- {% y" S. _& ~6 `  J一點補充:2 W* B, Q  d. V% Q1 C
我個人的* j5 p( l2 K* c7 I2 ]5 `
Disallow: /*/feed/$" l2 \( W9 k$ _& V5 S
Disallow: /*/feed/rss/$
2 c% B, E* A. D+ mDisallow: /*/trackback/$; l7 ^  E' U, `+ U3 l- v
Disallow: /wp-content/*
* l) K1 j* ^0 S: LDisallow: /wp-admin/*& f7 G) O/ P# m& s2 Q
Disallow: /wp-includes/*! |: \: L2 x/ w# A  i3 a
Disallow: /trackback/*. N* S. ?& K7 b9 G* \5 I
Disallow: /feed/*
/ l+ Z! y" A, WDisallow: /comments/*
9 ?4 o* d4 J7 ]- X" i- yDisallow: /page/*
. m1 f3 w# z7 ~5 C" d: c3 }Disallow: /date/*
0 k8 L" L+ k. w  v( e5 m- X& ~Disallow: /archive/*; S$ k+ U# I1 X
Disallow: /rss/*
& J) _4 t& S! c
* g- `" [* U3 R/ P這對於duplicate content有作用。4 F. q, q6 V5 c1 Y2 i( T
還有,即使你用robots禁止spider,還是會索引的,但只有鏈接(一部分或根本沒有)會出現在serp上.4 J& \2 k0 p. W% ^( j
6 E) B8 e% \3 Y8 W6 o
對了我有個food的autoblog.但沒你 首頁 那麼漂亮。
6 P. M6 W. I: y, @0 l. ^% ^會美工真好
回復 给力 爆菊

舉報

 樓主| 發表於 2010-2-2 11:08:04 | 顯示全部樓層
我那會什麼美工啊,那是我鼓搗了一周才鼓搗出來的,我新手,這是我第一個站,
回復 给力 爆菊

舉報

發表於 2010-2-2 12:05:01 | 顯示全部樓層
你可以給這個wp地址添加一些站內外的鏈接
回復 给力 爆菊

舉報

發表於 2010-2-2 19:44:32 | 顯示全部樓層
  用幾個最常見的情況,直接舉例說明:+ J5 [5 w' [: F8 j  d  P7 W: j" v
  1. 允許所有SE收錄本站:robots.txt為空就可以,什麼都不要寫。
! P, q' }" R- j- ^( j: J  2. 禁止所有SE收錄網站的某些目錄:+ L3 S$ Y) d! L) t% B/ ]
  User-agent: *( G7 E5 {: E/ D( c' i
  Disallow: /目錄名1/3 M, Y) u. ]) ^7 y, Z" ]
  Disallow: /目錄名2/- b5 x3 p! O3 O* c
  Disallow: /目錄名3/" h9 ?  E. G5 Q' b. ]$ k
  3. 禁止某個SE收錄本站,例如禁止百度:) v) a0 q$ v. P4 |4 U
  User-agent: Baiduspider
/ }+ x# l) Z9 V) {0 ?$ C9 S- K2 W; K  Disallow: /
! z6 z# f' g6 @) Z. l$ J% \$ g  4. 禁止所有SE收錄本站:
" b3 K8 I9 K7 }' m2 m7 N# Z  User-agent: *4 n6 c4 S; U, x% \& u+ r, n: {
  Disallow: /9 p( a# Z! p8 p
  5. 加入sitemap.xml路徑,例如:
8 j' c, N: T6 }2 m  Sitemap: http://www.advertcn.com/sitemap.xml
回復 给力 爆菊

舉報

發表於 2010-2-2 20:17:42 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 20:22 編輯
( y+ r9 L, _7 D8 w, a' s  B  F$ @- B9 G& g+ r
只有seo-greenhat答到點上.
+ Z4 U5 }+ \+ v4 I/ Q' C; o不好意思,我在二樓沒回答到點上,而且誤導了ls的。
% P( ^' d, B7 x( ~0 wlz想問他的網頁收錄如此之少,是不是因為robots.txt寫錯了。很明顯沒錯。$ Q, B" c9 ^( ^$ _
  O3 K3 p7 \( w0 A/ C
還有,你干麻用衝浪站阿+ Y; P; t* n( A
http://www.autosurfpro.com/cgi-bin/top.cgi' Q7 t* I$ A% Z( g0 I! `
忌諱忌諱。
4 d+ b( E. B! d& b- v1 l& }7 M2 U' {( `# A6 Y2 e8 ^/ X+ k
多弄幾個外鏈到, r- x) w; Z/ _1 g
http://sfood.net/wordpress/category/slimming-and-beaut4 W$ \6 N9 v7 X- H& ]  p. L% |
http://sfood.net/wordpress/category/healthy-cookbook! c! ^' n. u1 y5 C! Y( G
http://sfood.net/wordpress/categ ... se-medicine-regimen
0 ?$ O  {. ~" w6 Q8 C0 Uhttp://sfood.net/wordpress/category/food-common-sense- M6 C# F. ^4 Q" P; H: o
就okay了,noindex,follow
回復 给力 爆菊

舉報

發表於 2010-2-3 10:37:49 | 顯示全部樓層
不行用插件幫忙解決
回復 给力 爆菊

舉報

發表於 2010-2-3 12:11:22 | 顯示全部樓層
學習了,感覺用好了robots,會非常有效
回復 给力 爆菊

舉報

發表於 2010-2-9 12:44:12 | 顯示全部樓層
樓主的經驗很不錯。
回復 给力 爆菊

舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

點基跨境 數位編輯創業論壇

GMT+8, 2025-5-21 22:15

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表