繼續是採集的問題，如何獲得google、bing的緩存頁地址

今天開始嘗試用火車頭採集google、bing的緩存頁（即快照），但是遇到問題了，緩存頁都需要點開下來箭頭才能顯示出來，在代碼裡又不能看到，不知道怎麼獲取這個地址，有高手能解決嗎

; b0 |7 y7 I* T+ A. |5 Q# }( s. g9 G

直接採集目標站，而不是快照
8 _$ g* }. `9 B( X% Z" e

月光飛燕 發表於 2014-10-13 18:33
% t7 F) _" a2 Y" X; s# }直接採集目標站，而不是快照

例如ezinearticles.com這樣的網站會有限制的，直接採集需要的IP多還是採集bing的IP多，就這個問題糾結

以前採集用過有道搜索，限制低，現在不知。
* P+ W# v" t! h

抓包，快照地址都在json裡面

更改useragent為文本瀏覽器，比如說w3m 或lynx
7 j: Y! p6 @  m3 B4 l
普通瀏覽器頁面裡面也有，仔細找
8 }) Y' H6 ?+ b
不建議采緩存，不全
; [* |5 C8 @2 e( ^/ R

無言 發表於 2014-10-13 23:49
; ~  r) F/ m! P5 X( |% X9 m抓包，快照地址都在json裡面

可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓
3 D+ u6 O, V, m/ h2 H7 S1 g% R# f

bbbbb111115 發表於 2014-10-14 09:09
可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

用fiddler抓包，可以百度一下怎麼用

( y- T$ }4 C, H  [! w2 @