各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。0 o9 h! e6 Z# V* }) {6 a8 {
這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。
" e3 g+ n% T7 g8 [. d z這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。" i1 Z/ ^- v" d# A
讓我們現在就開始動手，修改robots.txt文件。# U1 T$ u$ E5 G( g K) G. V, a
#
, v9 ]1 r8 ~6 u. [% g1 {) `# robots.txt for xxx.com7 a. P3 f, e" m& Z4 \" u# a
# Version 2009.04.04/ r; V$ @8 M4 H# Q$ i o+ ]
#1 P6 D) i6 W, A
User-agent: *
/ y8 M! `5 v3 t+ K4 xDisallow: /function/
; ]3 x" s; v& T8 C' G/ B! ODisallow: /FCKeditor/
0 B, D2 a. a' pDisallow: /CACHE/2 M* H( e; C9 b6 l+ ^
Disallow: /SCRIPT/
/ N$ j/ K: t! I E& g/ {4 [* NDisallow: /ADMIN/
7 ^0 I' o) W) KDisallow: /wap.asp( F( ~3 l' z: K1 Y" Q2 `% P/ u
Disallow: /cmd.asp n0 i& t- w+ R' g* Y, u/ j, a
Sitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡