淘寶和百度最近是打的熱火朝天的，咱們這些旁觀者也不能光看熱鬧啊，得從中學到什麼啊，
1 U6 z: @- h+ P* p我們看到，淘寶和百度兩打架，有個傢伙在做怪，那是什麼呢？robots.txt文件，/ f: d7 [0 N& M# I/ x; T6 [4 v
下面呢，我就給不知道什麼是robots.txt文件的朋友掃盲，高手可略過，1 d' {. p/ e: Y- I8 M8 R/ J
可能有太多的做搜索引擎優化和網絡營銷的新手朋友經常接觸robots這個詞，但並沒有對它做深入的研究，本文將幫你輕而易舉的理解robots文件的內涵，並且毫不費力的做出符合搜索引擎興趣和心性的robots內容，您只需要花費一點點時間，就能和robots這個傢伙輕鬆成為朋友。何樂而不為呢0 V) f3 ~2 c/ }( { l" ~( d
5 ^9 }0 r# ]' S9 h
* a/ K) R6 M2 e" v+ `5 m想像一下，如果你和robots成為朋友，你就和搜索引擎達成了一個協議，一個建立在平等基礎上的協議，
/ Z! n7 N) l; u5 w0 |5 t) y1 s當你擁有robots這個朋友的時候，你就可以輕鬆的對搜索引擎說不了，你的網站上的一些隱私或其它內容當搜索引擎過來訪問時，robots這位朋友就是一位強大的保護神，把搜索引擎拒之門外。: k' V, z, U, ?# U- w
/ G3 v: }0 `+ Z3 i
我在這裡不但會告訴你一些怎樣設置robots文件的秘訣，而且還告訴你如何設置它能更加對搜索引擎友好，以有利於你的網站排名，並且教你幾招輕鬆搞定robots函數的辦法/ L+ ]# L& i1 o' F& Z; M6 E# h
! V# d8 Q8 B4 `. G! |' i1 P/ q
1，那麼，什麼是robots文件呢，當搜索引擎這個機器人慢悠悠的來到你的網站的時候，它首先看一下你的網站中是不是有robots.txt這個文件，所以說robots.txt文件是搜索引擎已經和我們達成的一個約定，如果我們按約定那樣做了，它們就不要收錄。& }, q6 D) K6 \9 |& A
# t" g- M$ G# A/ u2。robots.txt文件放在你的網站什麼地方呢，，記住，一定是根目錄下，比如www.123.com/robots.txt，切記不要放到別的地方，
. i$ i' l Y& k( q$ ]& i8 p; v" ]8 U3 J% A
3，robots.txt文件如何設置呢，很簡單，如果你希望網站的網頁全部被抓取，三種辦法，一是不要robots.txt文件，二是建立一個空的純文本文件，命名為robots.txt，上傳到你的空間的根目錄下，如果你不希望網頁被全部抓取，那就設置一下robots函數就可以了，
8 @6 ~4 B; G4 q$ j3 X
; i5 ?8 E+ ?- C& J+ N4 L. ~- F4 在robots.txt文件裡你基本上只用兩個函數就可以了，：User-agent和6 d( x; ?4 @! U6 t
Disallow! t1 Z2 z1 g/ W" A3 X8 ]% G
User-agent: * 允許所有搜索引擎收錄
& [& }+ d$ f8 K# K《適用於所有搜索引擎》
9 M4 I, ?- }3 y2 e8 h1 p# Z. WDisallow:
- _4 _' c8 x# T7 D9 L- X& N% q允許訪問所有文件, e9 }0 M0 k+ l1 R
Disallow: / 禁止訪問所有的網頁文件
8 ~' p: Y, _* o9 a, n% F6 eUser-agent: baiduspider* K$ c+ T+ ?/ l8 s. |( _0 b. z
/ e5 S9 M4 ]) G* ]' N) X$ h( j
Disallow: / 僅禁止baiduspider訪問您的網站: V) E1 X9 T* y( q- v- [
User-agent: *6 M/ ]! T8 g- c t
( t9 w3 M6 K+ J. R) o& L& s( `
Disallow: /cgi-bin/ 禁止所有搜索引擎訪問cgi-bin/ 目錄下所有文件
$ h! c1 U; d& ~User-agent: *
1 {2 c( d) e" o6 [8 y7 V- K7 y/ y' d6 Z% ^" K, A$ r0 o3 |( \
Disallow: /*?* 禁止訪問網站中所有的動態頁面) ^3 `) ]% z, b* O3 b
/ g3 u+ [) l! N4 s! U5，接下來我將告訴你如何設置你的robots文件來達到最優化網站的方法，5 U1 _! w: t0 b: L, q
當你檢查你的網站時，你會發現很多重複或相似的網頁，這些網頁不利於你的網站的權重，所以你就要用到robots這個朋友來禁止一些相似的網頁+ G6 m# _ G" c# |* l" Z" _
當你發現一些網頁沒有關鍵詞時，最好用它禁止，
6 F" z3 s4 \5 l7 n$ R; H/ @9 h當你發現一些死鏈接時，最好禁止
( J7 m% F9 V9 c4 Y% j E/ p當多個鏈接同指向一個網頁時，最好禁止動態的那些鏈接
$ N1 l. q# _6 W: l: B- U2 u, Y以上所有這些都是對搜索引擎友好的設置+ N1 w# X; k& K: y+ ^" [8 T
; d$ M4 T' x4 H- s
6 那麼，設置了robots後多長時間生效呢，一般情況下二十四個小時，' m& j" a- V) T# D7 T3 L+ o7 N
當你讀完這篇文章後，是否感到花費了幾分鐘是進學值得的，因為通過這篇文章你對robots文件已經有了更高層次的理解吧，, h8 ~6 a5 }2 N9 ^3 { C* x" U
, G0 x5 r8 ?! d* L+ [: ^好，讓我們看一下我的robots文件設置吧robots.txt |
|
發表於 2008-9-20 14:34:21
提升卡
沉默卡
变色卡