繼續是採集的問題，如何獲得google、bing的緩存頁地址

今天開始嘗試用火車頭採集google、bing的緩存頁（即快照），但是遇到問題了，緩存頁都需要點開下來箭頭才能顯示出來，在代碼裡又不能看到，不知道怎麼獲取這個地址，有高手能解決嗎
  d6 t. E2 b, _9 V; m/ l$ L% J. O
% R) L) X# ?+ ]- a1 _2 o

直接採集目標站，而不是快照
, Q, d9 a" O8 S, g

月光飛燕 發表於 2014-10-13 18:33
直接採集目標站，而不是快照

8 `! v% c: a. Z7 X+ j0 V- I# \例如ezinearticles.com這樣的網站會有限制的，直接採集需要的IP多還是採集bing的IP多，就這個問題糾結

以前採集用過有道搜索，限制低，現在不知。
3 O- C' e' v9 U1 s- f) q

抓包，快照地址都在json裡面

更改useragent為文本瀏覽器，比如說w3m 或lynx
5 i4 q8 h1 e! ]- X* d
普通瀏覽器頁面裡面也有，仔細找
6 U" M' c, {: y# Q) p
不建議采緩存，不全
9 P+ R/ i% s0 `% ]4 [5 A

無言 發表於 2014-10-13 23:49
抓包，快照地址都在json裡面

( |, W1 G6 a% `4 G; ]: I- t+ X可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓
) z1 M; A3 ?5 L% S

bbbbb111115 發表於 2014-10-14 09:09
可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

用fiddler抓包，可以百度一下怎麼用