捉蜘蛛的ASP代碼

捉蜘蛛的ASP代碼，昨天很多人問，現在我放出了，不過其實落伍早就有了，只不會沒說清楚用法。壓縮文件裡有使用說明，希望對大家有用。
  x" z1 y: Q  P( A7 F6 f" JPS：你捉到蜘蛛，但它不一定從你（不一定會收錄），還有，蜘蛛爬過後，robots文件夾下會生成對蜘蛛名的文本文件

1. <%
   
2. Sub robot()
   7 F$ o+ _5 t$ Q$ V! i
3.         Dim robots:robots="Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|SogouBot@sogou|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"
   2 |1 |/ J5 Z4 t* h1 ]+ m' Y" p
4.         dim I1,I2,l1,l2,l3,i,rs
   
5.         l2=false
   . t9 X9 G4 m3 y. g9 T
6.         l1=request.servervariables("http_user_agent")
   
7.         F1=request.ServerVariables("SCRIPT_NAME")
   
8.         I1=split(robots,chr(124))
   ; p# R1 c7 J. n' L. c/ d8 u
9.         for i=0 to ubound(I1)
   
10.                 I2=split(I1(i),"@")
    
11.                 if instr(lcase(l1),lcase(I2(0)))>0 then
    
12.                         l2=true:l3=I2(1):exit for
    
13.                 end if
    
14.         next
    $ G$ o5 x- \! w. f
15.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    9 y! [) p, W4 T3 |
16.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    
17.                 '記錄蜘蛛爬行
    5 ?$ x! h# v. ~4 q; H
18.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    + P9 M6 _" v5 i- E; v
19.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    " P8 e% C3 R2 ~3 r/ ?
20.                                 Fout.WriteLine "索引頁面："&F1
    % l6 q1 `3 D, E2 x' }& {
21.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    
22.                                 Fout.WriteLine "-----------------------------------------------"
    
23.                                 Fout.Close
    6 Z; t5 L( T. I# s# ~5 Q
24.                 Set Fout = Nothing
    " \# o6 ^$ D" I! s$ k0 `) L
25.                 Set Fso = Nothing
    
26.         end if
    
27. end Sub
    & U. O4 X" q# `$ c5 H* C
28. %>0 then
    
29.                         l2=true:l3=I2(1):exit for
    " C4 s1 ?# [' Z  D  y9 X
30.                 end if
    
31.         next
    
32.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    1 R' ^( g% _& q3 B. c" @
33.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    
34.                 '記錄蜘蛛爬行
    
35.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    $ O3 d7 m) s# l  r
36.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    
37.                                 Fout.WriteLine "索引頁面："&F1
    
38.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    % \& {, c& z) d6 U
39.                                 Fout.WriteLine "-----------------------------------------------"
    % M- R2 i# ?& B' x, \
40.                                 Fout.Close
    , {! a3 `/ T! x1 S. a& H
41.                 Set Fout = Nothing
    
42.                 Set Fso = Nothing
    
43.         end if
    
44. end Sub
    
45. %>

複製代碼