捉蜘蛛的ASP代碼

捉蜘蛛的ASP代碼，昨天很多人問，現在我放出了，不過其實落伍早就有了，只不會沒說清楚用法。壓縮文件裡有使用說明，希望對大家有用。
PS：你捉到蜘蛛，但它不一定從你（不一定會收錄），還有，蜘蛛爬過後，robots文件夾下會生成對蜘蛛名的文本文件

1. <%
   6 u9 K( w$ W$ L5 E$ K3 w0 N
2. Sub robot()
   
3.         Dim robots:robots="Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|SogouBot@sogou|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"
   
4.         dim I1,I2,l1,l2,l3,i,rs
   
5.         l2=false
   & @3 t2 x3 q& F" G
6.         l1=request.servervariables("http_user_agent")
   
7.         F1=request.ServerVariables("SCRIPT_NAME")
   
8.         I1=split(robots,chr(124))
   8 D6 Z' M3 w: j* z5 t/ Q% ]7 I3 z& C: K; t
9.         for i=0 to ubound(I1)
   , b) v7 [9 Z& p7 @6 N2 O
10.                 I2=split(I1(i),"@")
    . S, n! l" a* `  h- m% \6 x
11.                 if instr(lcase(l1),lcase(I2(0)))>0 then
    ! R: E" ]3 ^/ H# J
12.                         l2=true:l3=I2(1):exit for
    
13.                 end if
    
14.         next
    
15.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    # B: w& U& o3 {1 K
16.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    $ t3 I$ X$ u1 o
17.                 '記錄蜘蛛爬行
    ' w% U4 Z# @# P7 X8 e8 Y3 G3 B
18.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    
19.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    1 n* C  ~+ W6 `+ }8 n
20.                                 Fout.WriteLine "索引頁面："&F1
    
21.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    
22.                                 Fout.WriteLine "-----------------------------------------------"
    + b+ S, y0 {9 |& e  a4 Q0 {
23.                                 Fout.Close
    
24.                 Set Fout = Nothing
    
25.                 Set Fso = Nothing
    
26.         end if
    & T' r6 c8 k7 q- @
27. end Sub
    
28. %>0 then
    ) p  a( z. L3 O' O. }
29.                         l2=true:l3=I2(1):exit for
    
30.                 end if
    
31.         next
    # U1 n: Z. J3 v# I1 u. t' a8 j. J
32.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    - ~1 K. R) T' G- n0 f! Z
33.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    
34.                 '記錄蜘蛛爬行
    
35.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    
36.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    
37.                                 Fout.WriteLine "索引頁面："&F1
    & ]8 P6 |! l& `2 ?) P
38.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    
39.                                 Fout.WriteLine "-----------------------------------------------"
    - V* N/ N9 ~: d! O" E
40.                                 Fout.Close
    + B' P# l- S  M! n; G" _- D! u
41.                 Set Fout = Nothing
    6 J" N* R: o1 V& c2 m
42.                 Set Fso = Nothing
    
43.         end if
    
44. end Sub
    9 l- \2 {3 c% ~! K8 @; W
45. %>

複製代碼