非常小黑 發表於 2013-10-1 16:16 
) j" y/ m- M# g- ?# a比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
w+ b( D8 j+ {% T; T" Cnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
1 v- d& b( `$ p! R比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符# }! a; }; {/ x3 _
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
* R3 t5 L& t+ E0 o: G* \$ E2 w- \Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄& L" o& z/ s+ r" u
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄! @; c7 Z! H5 l& R
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
" f6 W5 V; E3 Q5 K1 ~0 m' D' |) \Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
# X7 L1 v1 j4 S9 E( E. eDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片8 p$ D3 {- c- D1 ^% l' o/ O
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
4 E1 M2 {3 A4 T; ?' H) OAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄: Y3 _+ w& q6 p6 H$ a
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
- V- X. r1 p1 f1 ?6 Q9 e- SAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。
5 d6 M, q- t. c) p) q9 r- E- nAllow: .gif$ 允許抓取網頁和gif格式圖片* R8 e; @! t+ W6 ~6 Z1 E
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖+ y# i# A& F6 z* o9 i
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分: ` f2 |% {4 Z. m- {
User-agent: *
y* h* G8 q% }8 W5 Y% I/ o, xDisallow: /
+ S: y; j9 [" x6 |9 c2 Y實例分析：淘寶網的 Robots.txt文件
7 Y5 ]5 i" N& L9 vUser-agent: Baiduspider& L# E/ T c4 ~4 [% o% }
Disallow: /
2 E' J1 N" H8 M! ]User-agent: baiduspider* U' t+ S& T6 H6 N2 H5 I$ U* \
Disallow: /
2 h5 b; `% w8 K5 I( M; |: u-------------------------------------------華麗的分割線-----------------------------------------
$ B9 b4 L' ]+ `你只要吧你要屏蔽的頁面寫上，就禁止了, I+ ^# m d: l3 F1 H& }
2 B; [! ]% b$ D6 [
2 ~9 R8 z* ~7 b* V
) p1 w3 \3 M# @: P; l% ] |
發表於 2013-10-1 16:24:00