过期域名预定抢注

 找回密碼
 免费注册

求助貼 我這樣寫robots.txt 對嗎?(wordpress)

[複製鏈接]
發表於 2010-2-2 10:05:35 | 顯示全部樓層 |閱讀模式
我用的是wordpress 我把wordpress目錄放在了跟目錄下 我樣像寫對嗎?- a" ^/ c& O6 a3 ~' P0 C
我的主頁被google收錄了,怎麼連我做的那個破flash 都收錄了,但其他文章頁面一個也沒收錄,是不是跟我寫的robots.txt這個文件有問題
+ _- K, C2 R6 e+ Z) L+ e# Q謝謝,
# Y- E. T2 j3 a" G" A7 D0 L6 n- g9 p: mUser-agent: *
8 u7 V" n7 [5 BDisallow: /cgi-bin, G; e3 I3 X' c9 n# C
Disallow: /wordpress/wp-
1 ?8 S( r$ S. }& c: lDisallow: /wordpress/feed/! z& N5 p* g$ U5 h# W# m- I7 _# ?
Disallow: /wordpress/comments/feed
: E3 _/ l- E" ?, c' N" {9 xDisallow: /wordpress/trackback9 K1 g, U5 C9 n- `
Disallow: /wordpress/comments$ M- o& R. e$ X; w; T5 `4 V
Sitemap: http://sfood.net/wordpress/sitemap.xml
  R) [5 m# d+ s' ^" V/ RSitemap: http://sfood.net/wordpress/sitemap.xml.gz
發表於 2010-2-2 10:32:23 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 10:39 編輯
6 b5 }7 ^( N+ b6 X4 Q! \7 i' ?' _! U$ E; U' F: S$ J# r- c4 d: {! h
我喜歡加個wild char- E' s  ~. A1 _! H8 a
像這樣
, x2 N* P$ B( p. o, @/ `Disallow: /wordpress/wp-*
: k4 t) `( }) z  m. Q8 b5 B+ ]Disallow: /wordpress/feed/*
9 X0 _4 g* R8 D2 K5 w) V* ]( W" E1 i. {) S- d( B5 l- b) z
看樣子你還得加個
8 H! \; o6 a" V, c1 O: T/images/*
( _! ]/ Y/ t1 \$ }, p6 ]1 d7 `3 w3 A- C
* google可以辨別出來,其他的我就不知道了
! |1 H  c+ R4 {5 B) J8 ?% X/ `3 ]9 X" o
一點補充:: i; k: B7 i- {* ^( v% c
我個人的. i3 ^6 ^3 r+ J
Disallow: /*/feed/$
" l0 }" j2 ~, s# L3 |Disallow: /*/feed/rss/$/ n/ x. y3 Z0 g& r( x/ L
Disallow: /*/trackback/$
; X- g- I9 z7 a* yDisallow: /wp-content/*
# B1 J2 m3 @; |5 j/ L/ ?# _9 i" ]Disallow: /wp-admin/*
- {# [" @; G  P% D3 n- ?# dDisallow: /wp-includes/*
1 V4 m' v5 z6 L8 o: y# j$ ~Disallow: /trackback/*
8 B  K6 Q! i* A5 t- s& g2 NDisallow: /feed/*
+ a" B" F# a1 l( `Disallow: /comments/*; s& C2 E4 y6 m' g! z) V% l! f
Disallow: /page/*% t& y5 @; c; J7 M' }& w3 @
Disallow: /date/*
! r( B" }1 @7 u' S- sDisallow: /archive/*8 k  o! D+ p5 b4 P8 H
Disallow: /rss/*
) ]' v, h" ^3 X# k* _: e& ~( u
: k8 }3 t- V+ q+ J8 U這對於duplicate content有作用。
/ t9 v/ w; _+ D1 p) f還有,即使你用robots禁止spider,還是會索引的,但只有鏈接(一部分或根本沒有)會出現在serp上.
! E$ q  w" n' o% e! ^
& k- `+ c+ }3 K" P對了我有個food的autoblog.但沒你 首頁 那麼漂亮。- L) k3 r" k: R$ l! x+ T9 d
會美工真好
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2010-2-2 11:08:04 | 顯示全部樓層
我那會什麼美工啊,那是我鼓搗了一周才鼓搗出來的,我新手,這是我第一個站,
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 12:05:01 | 顯示全部樓層
你可以給這個wp地址添加一些站內外的鏈接
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 19:44:32 | 顯示全部樓層
  用幾個最常見的情況,直接舉例說明:/ m0 [& }' j! p9 v0 o
  1. 允許所有SE收錄本站:robots.txt為空就可以,什麼都不要寫。% i- Q' j' w  v% e: K
  2. 禁止所有SE收錄網站的某些目錄:
% A! y% B+ v4 U. g# K0 A  User-agent: *- K3 e9 _8 g3 P, G  c# ~3 I% e
  Disallow: /目錄名1/
$ p3 Q/ \: `/ V# e1 M  Disallow: /目錄名2// p5 a. |* A$ ~  O3 }( l
  Disallow: /目錄名3/
! l6 Q& U! C& R4 Z/ B  3. 禁止某個SE收錄本站,例如禁止百度:- c* D' J8 t6 e+ s8 `+ V7 N
  User-agent: Baiduspider$ S5 y& D8 U4 Q. D* L
  Disallow: /
6 D) a- P3 a/ |* }0 @# Q5 z+ J  4. 禁止所有SE收錄本站:$ t( M2 k  O! H, ^- o
  User-agent: *
, b3 |7 U, u/ F) R: D: G4 ~" H3 {  Disallow: /) W* h/ T) u$ u
  5. 加入sitemap.xml路徑,例如:: f% I# `( K6 n. e- z( P, Q) G, H
  Sitemap: http://www.advertcn.com/sitemap.xml
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 20:17:42 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 20:22 編輯
3 C* H* U" B8 P: V5 e* \$ P. h0 @' i9 _& b. l+ z- ~5 }9 X5 |1 J
只有seo-greenhat答到點上.
) a( P- d( s+ R不好意思,我在二樓沒回答到點上,而且誤導了ls的。
8 b5 n  n# I1 C# q; d3 olz想問他的網頁收錄如此之少,是不是因為robots.txt寫錯了。很明顯沒錯。
! w- a9 }' g7 B  h: n! Q- ^
' z$ l( t5 `8 h5 x( h還有,你干麻用衝浪站阿+ t' U/ J. s) c6 D; O9 }
http://www.autosurfpro.com/cgi-bin/top.cgi
9 d; k8 |1 M6 }# I. e% o2 y+ l  y' ?忌諱忌諱。
7 r% @  e# G# l* p' q# ^; w% ^% S8 T3 o5 B% [
多弄幾個外鏈到( I) m* }$ Q; ?/ \. n  B1 X
http://sfood.net/wordpress/category/slimming-and-beaut* j$ Z- k, u. r0 k2 i
http://sfood.net/wordpress/category/healthy-cookbook
: {6 y# q# _' z# Shttp://sfood.net/wordpress/categ ... se-medicine-regimen( S; v5 d3 e0 B& ^/ u9 _
http://sfood.net/wordpress/category/food-common-sense7 f% M6 x7 E" v) W# @1 v6 v1 V
就okay了,noindex,follow
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 10:37:49 | 顯示全部樓層
不行用插件幫忙解決
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 12:11:22 | 顯示全部樓層
學習了,感覺用好了robots,會非常有效
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-9 12:44:12 | 顯示全部樓層
樓主的經驗很不錯。
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

點基跨境 數位編輯創業論壇

GMT+8, 2025-5-5 17:22

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表