非常小黑 發表於 2013-10-1 16:16 
1 w8 m$ x! P# x3 B3 @4 o比如,我首頁的page頁,還有category,想nofollow,怎麼辦?
2 b7 `. {+ I" \8 E$ M# X8 lnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接,如果你是要page頁面的話,那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
9 @" F- z. t9 ], `比如:文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類,*是一個通配符. ^3 o: F" a! R# s9 s% A5 K6 }+ Z
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
+ w5 x: D6 J" ^" q2 ~9 b' B# Q5 l2 ADisallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄! H; _" |' A3 l3 E+ r
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
6 l, l8 S2 _* Y o8 ZDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
& Q! c% w5 [+ d4 J+ f M. h6 ~5 C$ dDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
( k( e, u2 K) NDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
& u9 i3 p# e: R2 `9 v* M4 ZDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
9 B+ F A6 L, MAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄# x Z. O# a9 F3 ?2 ]! D( d
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄2 |7 q4 d/ @8 Z2 ~! H
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
* Z/ u: A1 _& R( Z" W; j5 w. ZAllow: .gif$ 允許抓取網頁和gif格式圖片( f& A8 O( [+ O( f% m% \% d
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
0 h& [( u9 d5 I, l1 m3 [文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
, T& g3 j6 t0 _. Z% H: \ qUser-agent: *
* q2 f. T8 ?' j' D" N5 R7 ]Disallow: /: \$ @2 f4 B/ U! }2 N7 t5 ^8 f
實例分析:淘寶網的 Robots.txt文件
" V# x0 l7 s$ W0 E/ VUser-agent: Baiduspider
3 @3 w# ~. m8 NDisallow: /
+ \, A, {, O4 G0 NUser-agent: baiduspider
) T, Q9 f; y5 K/ p. Q7 }6 S8 ?( tDisallow: /
, R3 }% J) L1 T/ b7 _-------------------------------------------華麗的分割線-----------------------------------------
# d- j% B+ _3 `/ l* ]# U( k9 z4 n你只要吧你要屏蔽的頁面寫上,就禁止了
5 r. L! Q) u/ {6 B7 O0 W( c7 H# w6 P1 u1 C8 s" l5 ]
% N2 m6 H* ]& t
4 J+ e% E' M/ S+ q( o |