非常小黑 發表於 2013-10-1 16:16 
6 I/ h% h$ n1 m" F* o8 z! \7 i比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。( b( A* W C; b+ e2 w
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符0 h& I+ j: W: U6 x1 K4 e1 C
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
# ]" V/ E% s- o$ T k2 RDisallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄! Q5 P$ T' ^$ Z7 @8 l
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
* n4 Z/ @& A, b Q! JDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。& y8 T' F/ `* l6 L9 k
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
' {8 F1 w3 y. aDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片 y }3 y+ x6 G5 T: @2 ?
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。3 U3 W" ?8 G: | ~ u* v0 z
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
* K: H4 P3 O# k! s: ~Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
; |, o4 p5 D$ w1 {Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。8 K6 p# n$ E% T8 u5 K/ { T
Allow: .gif$ 允許抓取網頁和gif格式圖片4 x' [0 u/ ?0 y
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖: r. }' a) G" f9 L
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
( [! Y6 g* o$ |User-agent: *1 D) K1 _' Y: b O( |% j
Disallow: /
0 j+ U6 ]. y7 L- b" G! s% a% [; ~實例分析：淘寶網的 Robots.txt文件
5 U; W9 Q- O( X' c% Q/ n3 sUser-agent: Baiduspider
3 g) Z5 }# }( T: f+ sDisallow: /6 B, M' J* {; k! ]8 [8 r
User-agent: baiduspider
) X7 J1 G x- `$ N( ~5 w# {Disallow: /; M1 r r7 B+ q" R$ A
-------------------------------------------華麗的分割線-----------------------------------------
( j; K; [& Y5 Z( P0 k' K你只要吧你要屏蔽的頁面寫上，就禁止了
. `, Z5 [! K' l: d) e! S% F5 s$ L' Y8 m- j3 ~9 c/ q$ a
6 U" e" l9 ~- c: e
5 f- ]' S6 D: |; g4 |. ^ |
發表於 2013-10-1 16:24:00