繼續是採集的問題，如何獲得google、bing的緩存頁地址

今天開始嘗試用火車頭採集google、bing的緩存頁（即快照），但是遇到問題了，緩存頁都需要點開下來箭頭才能顯示出來，在代碼裡又不能看到，不知道怎麼獲取這個地址，有高手能解決嗎

' m9 P( T( O# Q, _, H. g( \

直接採集目標站，而不是快照

月光飛燕 發表於 2014-10-13 18:33
直接採集目標站，而不是快照

例如ezinearticles.com這樣的網站會有限制的，直接採集需要的IP多還是採集bing的IP多，就這個問題糾結
% S+ O6 x8 M6 X( U: C$ x

以前採集用過有道搜索，限制低，現在不知。

抓包，快照地址都在json裡面

更改useragent為文本瀏覽器，比如說w3m 或lynx
2 T; y8 C& C) s1 s7 R6 |/ m
普通瀏覽器頁面裡面也有，仔細找
' s) o$ I/ @1 g9 n
不建議采緩存，不全

無言 發表於 2014-10-13 23:49
抓包，快照地址都在json裡面

4 L% C( j9 b3 N9 d* \可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

bbbbb111115 發表於 2014-10-14 09:09
可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

用fiddler抓包，可以百度一下怎麼用
, V' g$ [4 _0 i