过期域名预定抢注

用戶名  找回密碼
 免费注册

求助貼 我這樣寫robots.txt 對嗎?(wordpress)

[複製鏈接]
發表於 2010-2-2 10:05:35 | 顯示全部樓層 |閱讀模式
我用的是wordpress 我把wordpress目錄放在了跟目錄下 我樣像寫對嗎?. ^7 F4 S& |. U9 f, Z  E1 K+ N/ B
我的主頁被google收錄了,怎麼連我做的那個破flash 都收錄了,但其他文章頁面一個也沒收錄,是不是跟我寫的robots.txt這個文件有問題8 b9 ~  z; z. E4 _0 z9 P+ g9 H
謝謝,. j/ |! A- v& ]
User-agent: *6 x, ~) q* o2 y& d9 a
Disallow: /cgi-bin* b% u1 W6 i2 L' G+ O! b6 `7 u
Disallow: /wordpress/wp-
9 n& O( T5 ^- B; M  e: n' Y- F7 WDisallow: /wordpress/feed/
* a, o: }' m+ f3 x: jDisallow: /wordpress/comments/feed
& A1 a) p7 j! eDisallow: /wordpress/trackback
) A; D( F( V3 L9 u4 |+ q5 LDisallow: /wordpress/comments
9 v* V* u, R1 a( G& b4 XSitemap: http://sfood.net/wordpress/sitemap.xml
, @0 f+ Y4 G2 O! [Sitemap: http://sfood.net/wordpress/sitemap.xml.gz
發表於 2010-2-2 10:32:23 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 10:39 編輯 5 i7 M$ g3 n, p8 X) e9 M

6 p- m0 W! ^4 Y/ ]" l8 N我喜歡加個wild char
0 t6 }9 W: Z% d: m像這樣. P/ B/ w+ ~! M/ g. j
Disallow: /wordpress/wp-*
% b0 R% b" J( |- S, ?Disallow: /wordpress/feed/*
4 I* J5 Q$ s8 l# I* Q& ?# S$ k# j2 ^: _
看樣子你還得加個! M" g7 v  n) r+ ^
/images/*1 a4 j1 r5 w, W# ?7 X! S  |

4 ]) F; ]' T, f& U+ T) \1 {4 ~* google可以辨別出來,其他的我就不知道了/ {8 |! E+ Y& G- e0 J- B9 u

5 c8 Y: h/ ^+ V2 R* S  T  \一點補充:
: W! }4 r& [$ g5 O, B5 v0 R我個人的- ?2 T' }0 _4 M( e) U- y3 t
Disallow: /*/feed/$
" q. Z, z9 |. ]  l$ N" `! O: ZDisallow: /*/feed/rss/$1 n: {; Q/ D, S0 I. l
Disallow: /*/trackback/$
6 m5 i3 N- T; zDisallow: /wp-content/*
  Q! t: ]+ n- P: Y, P2 DDisallow: /wp-admin/*- r! m$ m/ k7 G. ]) i8 W) N
Disallow: /wp-includes/*% t# O, L: k' ^3 k0 k! h
Disallow: /trackback/*% Z' E9 G4 N9 ^5 l' r$ R% k
Disallow: /feed/*0 ~+ z! _( t/ S2 e; E; n
Disallow: /comments/*% g. o4 q9 A: m
Disallow: /page/*' d- ?6 V6 R0 v, b. a8 l6 V& Q  g
Disallow: /date/*
4 W+ T. @7 a- }% x5 i  r/ TDisallow: /archive/*
9 g! Q* M% P7 k& j, FDisallow: /rss/*
2 T( O" ^$ g: {) W1 d4 |" K' M. k9 ^) Y* A  H
這對於duplicate content有作用。
: _7 I1 {* V2 i還有,即使你用robots禁止spider,還是會索引的,但只有鏈接(一部分或根本沒有)會出現在serp上.
2 P$ H% J, v5 M3 {# c" z0 G) ^( t8 Y, w- V
對了我有個food的autoblog.但沒你 首頁 那麼漂亮。4 R$ g7 M. j; e, y
會美工真好
回復 给力 爆菊

舉報

 樓主| 發表於 2010-2-2 11:08:04 | 顯示全部樓層
我那會什麼美工啊,那是我鼓搗了一周才鼓搗出來的,我新手,這是我第一個站,
回復 给力 爆菊

舉報

發表於 2010-2-2 12:05:01 | 顯示全部樓層
你可以給這個wp地址添加一些站內外的鏈接
回復 给力 爆菊

舉報

發表於 2010-2-2 19:44:32 | 顯示全部樓層
  用幾個最常見的情況,直接舉例說明:7 o) |* ~# L; T; W2 d# y3 ^
  1. 允許所有SE收錄本站:robots.txt為空就可以,什麼都不要寫。4 v! l% h& }4 ~4 b
  2. 禁止所有SE收錄網站的某些目錄:  Y9 R7 r, d3 m" N/ J$ h+ N- A
  User-agent: *! D4 H- C$ n. E
  Disallow: /目錄名1/
% G0 H0 \- @4 w  Disallow: /目錄名2/
, n, h. h; E4 [+ r  Disallow: /目錄名3/- v% y, E$ R: e
  3. 禁止某個SE收錄本站,例如禁止百度:
1 K4 d# l& ]! m+ Y1 n& F6 ~' O9 s' w. D  User-agent: Baiduspider
0 s6 z8 F3 N% d3 i  Disallow: /
2 o$ o, o, x* g, V/ V  4. 禁止所有SE收錄本站:
; b1 _2 u9 q' ?5 d4 ^; u  User-agent: *  L0 r$ f9 B8 }' m. @( d
  Disallow: /
6 d5 \) W* Y( H5 O# h- \, X  5. 加入sitemap.xml路徑,例如:
2 d) r* I5 {* S+ u# A" Y/ s- P  Sitemap: http://www.advertcn.com/sitemap.xml
回復 给力 爆菊

舉報

發表於 2010-2-2 20:17:42 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 20:22 編輯
/ W" X, B& i% m+ x$ W# z; @
8 P0 L, z: r& S8 J只有seo-greenhat答到點上.
& g: _: z- E+ ?2 V不好意思,我在二樓沒回答到點上,而且誤導了ls的。
0 O3 S- L% W# V7 f& Klz想問他的網頁收錄如此之少,是不是因為robots.txt寫錯了。很明顯沒錯。6 x$ c, I8 v. k8 Y- x* T
% `- ]% {- l. T5 z6 {
還有,你干麻用衝浪站阿9 F# Z3 B  h! K2 K' B$ m) p
http://www.autosurfpro.com/cgi-bin/top.cgi
9 A  L! f$ U( F忌諱忌諱。6 h! o9 V7 C$ E$ p; p

3 u2 A) K( \  _% J* h多弄幾個外鏈到+ H8 g3 m) B/ `- F7 V/ C
http://sfood.net/wordpress/category/slimming-and-beaut  |0 E7 h1 ]( C7 a' |# u
http://sfood.net/wordpress/category/healthy-cookbook4 D, F6 b7 a$ L  g
http://sfood.net/wordpress/categ ... se-medicine-regimen# D% k6 p) x) |5 ?" P4 s
http://sfood.net/wordpress/category/food-common-sense
- d9 T: [( F" n" A; y! M就okay了,noindex,follow
回復 给力 爆菊

舉報

發表於 2010-2-3 10:37:49 | 顯示全部樓層
不行用插件幫忙解決
回復 给力 爆菊

舉報

發表於 2010-2-3 12:11:22 | 顯示全部樓層
學習了,感覺用好了robots,會非常有效
回復 给力 爆菊

舉報

發表於 2010-2-9 12:44:12 | 顯示全部樓層
樓主的經驗很不錯。
回復 给力 爆菊

舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

點基跨境 數位編輯創業論壇

GMT+8, 2025-6-8 12:10

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表