非常小黑 發表於 2013-10-1 16:16 
. O/ a5 j! N8 K6 @比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
% V, u+ _' ~) s( l0 I n, s8 Bnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
- C$ T9 a: {' {- S3 P& P+ e比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
9 T% N4 A) F" n5 r# O7 X# _& [Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄3 l9 v5 h4 }& S! ^ _
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
: W$ x# Q2 p1 l% f2 L) g6 |7 SDisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
: I+ o! K) M0 t. f; F$ @$ zDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。6 F; k6 N! p. M( ?
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
" x3 I( m' b* H/ BDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
+ R6 @, \7 L3 i& o, R+ nDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。) X1 G% Q, I8 N
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄, l, K3 x8 J5 [ J ^
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄" w* X/ ~; Y$ X; s3 s- ^, m$ g {" y
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
- D/ q- G/ z9 ^9 F! AAllow: .gif$ 允許抓取網頁和gif格式圖片+ u5 n6 C* Z6 p8 q& O
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖5 J# M( B% W9 j5 K5 Z8 O5 \$ \
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分/ k3 I" I1 ?. l
User-agent: *
# v0 Q. _9 D4 {' X& JDisallow: /* Y8 T4 H: x# L, O: ?% f' K
實例分析：淘寶網的 Robots.txt文件
4 A! d5 B! w- B2 `9 f ]User-agent: Baiduspider
6 u2 P6 G+ m& s. y, [) {8 r! C! [Disallow: /8 y. c/ i9 \. Y7 Z/ `3 j
User-agent: baiduspider
9 t5 v, E4 Y' k5 |# wDisallow: /" o- m; b7 b8 z; h( T% {% U* g
-------------------------------------------華麗的分割線-----------------------------------------5 q, z5 T5 L2 l9 P
你只要吧你要屏蔽的頁面寫上，就禁止了. X9 H6 e" w' M# W3 T
* i2 J s% ^9 c' ]. [0 N
8 H. c8 m! H' b' W& p9 ?7 S3 P
: I* `9 {# l" P4 o4 b6 E1 Z; `
|
發表於 2013-10-1 16:24:00