請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
% z; Y: d: K4 g% P# |7 g/ g# v

leexiaochong 發表於 2014-12-25 10:42
樓主，我只能分享這些了，只是產品的URL和URL中的product name

1 x+ E+ F- r1 ~" j# o/ Y求分享採集思路，貌似翻頁有最大限制，無法全部採集

熟能生巧哇 發表於 2015-1-1 01:29
* G" y0 g3 a% @2 w5 \. Q" wlucene  是java的把？ PHP 用不了把？

# c, Y  ]" W4 hlucene是java的，我用.net，使用lucene.net，php我還不太懂了
* d, v* b" y+ T% f; h' J% a; t0 p: I' s: f
  K& T, s* |4 i6 m. z) F

風吹不動 發表於 2015-1-1 08:39
; ~) W& f) Q& I' e求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
' o' J( q' z1 ?

leexiaochong 發表於 2015-1-1 10:34
兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

sitemap贊一個，去試試         

( Q6 i6 `  \7 w  g8 |
8 E9 ]  U# ]# @1 m