各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
, j0 f; }( i, L2 t' U這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。3 n3 z. S( b+ V) M! C9 C
這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。3 F: P- r6 _/ ?- Y, `. [) ] i; q
讓我們現在就開始動手，修改robots.txt文件。
+ \4 u7 \0 j" N#' K) R2 M6 n! b/ r
# robots.txt for xxx.com
5 k+ b* |& D6 v3 f3 w# Version 2009.04.04
' K, ]5 g& _8 h* A#$ x+ C& K/ k) T- }; _5 A
User-agent: *+ E( B! B' h1 n
Disallow: /function/4 l) z/ z. k4 l/ ~
Disallow: /FCKeditor/3 F4 V. u, ~+ c- C' g
Disallow: /CACHE/6 d/ c- s, v. b: C& s# f
Disallow: /SCRIPT/
7 Q2 C" g2 v4 G+ d, UDisallow: /ADMIN/
- ~1 f4 s* |, I7 Z* y/ CDisallow: /wap.asp
) _# U. Z; m' z& J7 O; KDisallow: /cmd.asp
0 _* v# q: B& S0 y- c4 O* z% zSitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡