非常小黑 發表於 2013-10-1 16:16  - t. q$ X# q0 R0 V4 W
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
2 z& r6 U; w- d; \1 {8 Y: B8 m比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符3 e2 ^1 d& u+ N" ^
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
l' ~; g2 K5 R3 _) @Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
* W2 r) o( t& [' r" ADisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
2 {8 Y3 k3 O& U+ r4 s9 H1 rDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
, L4 g" n% n, k3 {- h! c! bDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
) k5 m! g6 F& \" CDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片7 o( l* e8 K2 U1 G
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。" Y4 i) P+ h' ?+ F4 O
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄$ T. k9 O$ p! D/ m
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄2 L( K) O% A& E: j6 a5 A+ R( C
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
6 a3 K5 C8 M2 Z& gAllow: .gif$ 允許抓取網頁和gif格式圖片$ c) b0 r4 n v# z; E
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖/ L0 M$ A: D" u5 k6 Y$ G. c# I G
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分- F5 I/ v, R5 [9 ], Q
User-agent: *
0 T& b f% j$ [# `3 oDisallow: /
4 s _9 c4 y, u/ E實例分析：淘寶網的 Robots.txt文件+ [, W5 P9 \0 }/ [( n
User-agent: Baiduspider) H S& K* M0 {- k2 W) E
Disallow: /
( x- x9 D5 I5 J RUser-agent: baiduspider1 Q4 x, T- m5 _6 \
Disallow: /$ Z. e% [6 N v9 r! P
-------------------------------------------華麗的分割線-----------------------------------------
7 T9 ~1 }; ]9 l! }你只要吧你要屏蔽的頁面寫上，就禁止了- F3 t$ X6 b+ e! Y$ X4 B9 e x
+ a. u/ P- G3 ?- V" C8 X
2 M! R9 p7 v. D' j4 |) l: g
- {! i) F% k9 K% j |
發表於 2013-10-1 16:24:00