非常小黑 發表於 2013-10-1 16:16  ; b0 P. `! n9 J7 K, A
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
, P) S8 g* K& Q, f+ I# D% [nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。" Q/ N0 s! ^# x
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符3 ~5 a# m: w$ A$ T
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
0 b- z: A/ w& p3 Z/ [! g* xDisallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
, G! y' z+ `# f+ R' `Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄' x3 s- I' C& h3 A
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。$ V2 l: E* Q4 V$ J$ G5 u- D
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
4 |- c3 {$ e- c' [, ?: q2 c, K2 sDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
; g0 k5 m0 _( ~4 N& hDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
- _- k C& [! n. a* m2 Q- [Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
r2 ]7 V9 F$ U: lAllow: /tmp 這裡定義是允許爬尋tmp的整個目錄- [- o3 J+ W; I7 ]$ n2 k
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
D" p. W" Q, ~- Z; x+ jAllow: .gif$ 允許抓取網頁和gif格式圖片/ p# L8 s( H1 Q2 B
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
) [8 n. |: V3 A4 G, ?文件用法例1. 禁止所有搜索引擎訪問網站的任何部分7 J7 T B" K' _0 f' M
User-agent: *
+ O# {& p* X) q- w" G UDisallow: /
" j8 z- I( n1 s# [$ n1 ]% d, m! R實例分析：淘寶網的 Robots.txt文件
5 H" c4 l8 n4 M- P7 W* o2 F4 [User-agent: Baiduspider8 }5 v1 R0 B& D' p
Disallow: /, s% W' b" n: {6 t% b1 \
User-agent: baiduspider; E: ]9 n+ t, \, d9 N/ H! P5 M
Disallow: /- m5 H, Y; ~4 z! z0 j1 X; k
-------------------------------------------華麗的分割線-----------------------------------------
. b# P' V* B* d8 r你只要吧你要屏蔽的頁面寫上，就禁止了
$ D5 d9 Z) |4 I' w) [$ r" A9 ~3 F; `$ v$ l6 t, q8 q# Q8 {
6 F$ k$ r" ?7 ?: ?' P# q! K u; t0 r+ W8 i6 y/ N1 j! G
|
發表於 2013-10-1 16:24:00