非常小黑 發表於 2013-10-1 16:16 
7 }8 x0 ~' P% j7 Z比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。6 B% q& `6 C) \; j
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符: ?. f- V* f8 v# t
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
- p$ T4 p) q. ]* _5 L! nDisallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
$ c1 `9 A1 n9 fDisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
3 e2 n0 \; i" d9 V' F% }! {Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。# k- L, g o; W3 L
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
) l5 j+ J- m9 N: T, l/ GDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片$ I% T. g9 u, a3 c6 k2 u& }
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。2 f: w! r9 k' c
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄. b% q: Z9 _+ x" S
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
+ [, C; X( a4 PAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。
2 ~. ?. L+ K9 T# OAllow: .gif$ 允許抓取網頁和gif格式圖片
* g7 z* O: k' U0 xSitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
" g( L+ Z4 l& G& V3 t; V文件用法例1. 禁止所有搜索引擎訪問網站的任何部分! }! g- T$ i1 @: K6 k% |/ q
User-agent: *0 b9 a0 y9 c- M6 f6 M; O- X' B
Disallow: /
- W( b% `+ R4 P; B1 Q6 M2 h2 I實例分析：淘寶網的 Robots.txt文件
# C8 ]: v) l/ B2 I$ X2 wUser-agent: Baiduspider
. ]0 E! N1 T* n7 i5 ~0 v& cDisallow: /
9 O' F0 H- R/ y% c, zUser-agent: baiduspider
8 ~+ ]( d, G) ~8 ?( {& J- b' nDisallow: /
6 p0 }1 e5 E% C9 F7 p U5 Y/ N' V( _-------------------------------------------華麗的分割線-----------------------------------------# T8 j% o/ W" _- ]6 Y
你只要吧你要屏蔽的頁面寫上，就禁止了5 ^7 s3 ]% t; L @2 Y Y
5 y) A5 [0 o: A3 r8 A
1 S# {, g1 s, {; }
6 x3 o- Z) i( k5 U: Q |
發表於 2013-10-1 16:24:00