各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
9 u( [! X' d! ~: s這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。3 {; U$ T1 K1 U1 S5 h5 x q
這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。
# H: ^8 I3 h, b7 d% y+ ^/ v讓我們現在就開始動手，修改robots.txt文件。
7 O) o1 a; A# ?. c4 W8 e! N: j#8 D# X, `- L: S9 ?2 h/ G
# robots.txt for xxx.com
( k( `; u/ `7 z# Version 2009.04.04
. H0 c+ K2 Q* H$ Z#6 J( J0 B: i8 K& Q+ T4 v
User-agent: *9 K+ F0 e% |3 U c
Disallow: /function/! s1 H7 a5 M/ H! u
Disallow: /FCKeditor/
- L! I$ t5 j# g* ^) a* Y, NDisallow: /CACHE// J$ z+ g# z# x! Z, [+ P
Disallow: /SCRIPT/# q9 n |4 `- t" U+ n
Disallow: /ADMIN/
* k0 E. R+ z! N. pDisallow: /wap.asp
7 x7 Q: I, `6 l3 WDisallow: /cmd.asp' v; J9 t2 j0 ?8 K& f* x5 a
Sitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡