各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
0 }' Z1 g: @/ {這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。
: L" F+ N u# |! U: q這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。
" M/ f* d0 Z% {4 g3 l6 k$ K% ~讓我們現在就開始動手，修改robots.txt文件。
2 |6 [% b0 Z& Q) E$ l: k#! N5 c5 T+ |8 o: P
# robots.txt for xxx.com5 l2 y" }8 n) S; W" o& b
# Version 2009.04.04. m: Z1 K! t/ G- K+ p
#
6 Q, n6 J/ H; g' u2 v, {0 dUser-agent: *. T. Z3 x% W; C% u, i
Disallow: /function/! y/ ^5 `" n% Q9 L- j
Disallow: /FCKeditor/
- D2 ^% }$ R+ g, NDisallow: /CACHE/
- t, G' C& R2 ]Disallow: /SCRIPT/
# ^, ^9 ] o. s' a$ W/ IDisallow: /ADMIN/
" l! N9 d( ^ p& M+ TDisallow: /wap.asp
, x: D* w6 \: W3 y2 xDisallow: /cmd.asp
1 E; ?5 h* h: q2 @2 p& RSitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡