蜘蛛陷阱指的是由於網站內部結構的某種特徵,使搜索引擎蜘蛛陷入無限循環,無法停止爬行。最典型的蜘蛛陷阱是某些頁面上的萬年曆,搜索引擎蜘蛛可以一直單擊「下個月,陷入無限循環。 {- O" C8 y0 @, I2 m
像我湘潭九華人才網(http://www.xtycw.cn)的個人註冊裡有一項是填寫出生日期如圖: 5 L7 w, h, n8 m% L2 L
還好這個是用js寫的,蜘蛛讀取不到,如果說蜘蛛可以讀到裡面的數據,極有可能會陷入死循環。
8 O" c) V9 {+ h0 a6 e大家做網站的時候要注意避免蜘蛛進入陷阱,以免被搜索引擎懲罰 |
|