網站地圖鏈接放在robots.txt文件裡的用處

各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
0 ~2 r/ U% q7 f這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。
' l% l0 p' `. h! m$ X4 m這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。
讓我們現在就開始動手，修改robots.txt文件。
#
# robots.txt for xxx.com
# Version 2009.04.04
#
2 f' i0 P$ ^7 b. BUser-agent: *
Disallow: /function/
) v' a! M' L6 U- ^  o, M6 N$ G% rDisallow: /FCKeditor/
Disallow: /CACHE/
  \3 s" }+ T3 x9 K$ \Disallow: /SCRIPT/
# d& y* T) [! B0 m0 i$ FDisallow: /ADMIN/
8 H2 ?, o6 D# X  aDisallow: /wap.asp
Disallow: /cmd.asp
) F9 r+ C9 |) }5 SSitemap: http://www.xxx.com/sitemap.xml

sitemap路徑放在首行也可以