非常小黑 發表於 2013-10-1 16:16  9 ^) s& a+ q J: A3 _
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。5 Q$ y' U6 F( ]0 O
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符# f2 M, X" y5 @ W1 K$ x
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄& z) o7 ~1 a7 _; j" _
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄; l. C, [! _& p( M5 o/ T
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄( o& s w9 X3 j& r
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。 n! r! J" i1 N) Z# B
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
" R$ G7 n9 e: c5 s7 D* | EDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片5 Z3 Q. a: D( a$ T; }
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。- q8 c8 ~) I; H! }, y
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
; B O- c( i7 P: a; C: l6 W5 x L) YAllow: /tmp 這裡定義是允許爬尋tmp的整個目錄
+ n( ?; {% z$ [8 N- XAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。5 P; R; }. u$ M5 L4 `
Allow: .gif$ 允許抓取網頁和gif格式圖片
2 y5 @/ l9 f7 U& ~ ?% C0 k; sSitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
8 Y+ A" o, U6 j$ _6 E2 q文件用法例1. 禁止所有搜索引擎訪問網站的任何部分3 ~; f; S& m% C" ~
User-agent: *! g9 B) R- @; e4 d, V5 s* A
Disallow: /4 J6 l' C% B* C" t/ p7 B+ |
實例分析：淘寶網的 Robots.txt文件
/ B% V% U! w$ x+ u2 dUser-agent: Baiduspider
8 s2 ?; q6 L/ BDisallow: /. y& W* y0 C: M( i5 ?! G2 f
User-agent: baiduspider
. J4 R1 {! X( W: m; o1 TDisallow: /3 {$ s! A5 ~( ]+ \
-------------------------------------------華麗的分割線-----------------------------------------, C3 w7 H4 k: x3 C/ I- K
你只要吧你要屏蔽的頁面寫上，就禁止了
2 u& p, i, j0 `: d5 ?
0 s8 B5 H1 D5 O' `
0 m# t D$ ?+ u5 v+ _/ O v- r9 w! |! J0 @
|
發表於 2013-10-1 16:24:00