非常小黑 發表於 2013-10-1 16:16  2 L/ k, C. P9 g4 ?& j O
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。 J$ [' T' a7 E# `
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
, d8 J" c% }9 g2 tDisallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄2 L6 q. }) z3 g& @8 ~# R3 O
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄/ E% R& h8 K1 e# i9 {( n. I/ v
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄& [3 d2 c! ?! S4 d
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
9 F/ d- q' S$ {( u6 M9 [+ hDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址% I9 W5 c! C; F8 E5 }& U' b I
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
0 b: w' y3 A, k0 G" j" aDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。( q+ ?+ n7 c' @; b% M7 R& ?
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
' ^' N# w7 a" h2 {# mAllow: /tmp 這裡定義是允許爬尋tmp的整個目錄5 O" j/ d6 I1 E. r& D
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
2 j, h9 a9 m9 K3 B- T1 ]6 v! p XAllow: .gif$ 允許抓取網頁和gif格式圖片
- A9 D; E8 e: _% o0 ^Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖 \6 r: {8 v, X/ x T* p5 }
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分# w$ O; Q: F3 q+ l! ]6 r. n y% v0 q
User-agent: *
! d2 a- X/ I6 @7 H- c6 W$ LDisallow: /
) B/ F! R6 u0 T) r實例分析：淘寶網的 Robots.txt文件
8 i: w3 u; X- K& \! P/ yUser-agent: Baiduspider: k5 W4 k4 `" p# F# k1 z
Disallow: /
) g8 A8 h! {9 q- y/ E7 l' zUser-agent: baiduspider3 ]& f3 q* [% z1 [' U
Disallow: /' H$ T. q. r# j* D# m! T4 ^' j
-------------------------------------------華麗的分割線-----------------------------------------
5 _: e! n6 f r' W8 ?% K6 O+ \你只要吧你要屏蔽的頁面寫上，就禁止了
" q8 V* B* a! j
# F' K' ]" ]4 c0 F" c$ a1 l
9 e- l% s$ v, e9 u- L/ f, ~4 ^! D. g& W- F# k0 e- Y Z
|
發表於 2013-10-1 16:24:00