非常小黑 發表於 2013-10-1 16:16 
+ @' h! ~# M7 T$ L比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
4 v5 O' P; y5 O! }: b1 d. ]0 l& Gnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。6 a: R" H8 K5 ?: t
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符6 q4 }. j8 A- K- {
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄- i0 e8 x! o v0 L
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
3 \1 S+ ?+ N! _0 u- L% {Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄8 ^( Y! V5 R* p+ Z1 K/ o, D
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。# q; h& C8 I4 h& O9 B" U/ b
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址: r9 h) I. L6 t3 r
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
- U8 G' A8 n2 k; cDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
, ] X0 h, v6 G/ |Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄6 t2 \( T1 C- g" `' ^( q1 t
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄# u, z! H1 E8 i% z& O. ]7 S
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。1 M; k& h l# }1 K
Allow: .gif$ 允許抓取網頁和gif格式圖片
: h2 _: M" f* K" m# r2 Z' rSitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
, w' U. V* a! w1 N) r: K文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
6 j. r( a$ z4 S2 Z8 N$ JUser-agent: *
3 A a f( ^! P {; S8 V) wDisallow: /
: S; a r* P, Q; ~8 d8 t實例分析：淘寶網的 Robots.txt文件1 Y1 Z# D& j1 H2 ^0 C, l
User-agent: Baiduspider
% `! @* k, A' e! I0 h6 l! ~/ ?; ODisallow: /
/ Y7 {( `1 g+ _ ~User-agent: baiduspider8 s7 L9 p- p/ n, `- ^7 _* j8 ~
Disallow: /
! r8 e6 f4 }$ F) T' Z-------------------------------------------華麗的分割線-----------------------------------------
$ \: M, s9 w5 `8 D `$ R9 K7 S你只要吧你要屏蔽的頁面寫上，就禁止了+ ^+ E3 t8 w) P/ K( R8 Y
1 ]4 Q9 z8 n: v7 B8 l2 f: k& X" k0 b" {8 U
3 L9 O" d5 p3 m5 P. K; N
|
發表於 2013-10-1 16:24:00