非常小黑 發表於 2013-10-1 16:16 
l% n+ [8 C$ J6 n2 J$ k比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。 t2 O; G3 a, J; ]+ d4 B/ }
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符 C; V0 w7 F5 J
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄, y" @8 x2 o; J' T$ K
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄7 J# y1 f7 w& n! H- r# @
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
. {4 k5 l; A6 Z3 c i+ A6 vDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
4 C6 {' f, F8 |- M+ G# ?Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址$ Q4 s3 w! G, H( d' T
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
" }6 S$ Q1 s* g! [0 L0 aDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
9 T& S7 ?4 l* k, H; u' {0 a# d! zAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄# M/ R+ j! C8 Z( C9 p! C1 q) s, \* o
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄" Q: B# P- X) @+ i5 Z, U
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
7 O: o( `/ t4 z+ }6 _( } nAllow: .gif$ 允許抓取網頁和gif格式圖片' L" l( d# _/ r1 l! [
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
0 [: a8 l( L8 y0 c; y/ W1 y文件用法例1. 禁止所有搜索引擎訪問網站的任何部分" t, s4 i8 P) C: u
User-agent: *3 t2 \# x( S# y3 M+ f' q4 y
Disallow: /. R& B# K& ^* A0 p7 c; [4 {7 c# Z+ h
實例分析：淘寶網的 Robots.txt文件
. z; \# Q# Z, O& d; A, x3 QUser-agent: Baiduspider c6 g" y! r9 ?8 R; C5 J( C
Disallow: /
& \; n; a6 O6 w" B& O" SUser-agent: baiduspider: N# U: q7 B& M, j! d2 x
Disallow: /% I% f) s+ A& m* y4 ^8 d) _
-------------------------------------------華麗的分割線-----------------------------------------( t) F2 I j- I8 B6 V) d: S
你只要吧你要屏蔽的頁面寫上，就禁止了
" z" U' C- G/ r- W: @% y. ~4 V! ~7 b
3 |! H+ @7 Y' ?1 f- ^. ~' A0 c" D* L3 i1 A6 O
6 p) W) `( U3 O5 J' ^ |
發表於 2013-10-1 16:24:00