請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
0 o) h! O' E% ], t6 v& l2 h: |: f

leexiaochong 發表於 2014-12-25 10:42
樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集
+ V: Q7 A6 P* F$ D+ H/ Y

熟能生巧哇 發表於 2015-1-1 01:29
8 |* @* A: w: R$ c: T% s8 {lucene  是java的把？ PHP 用不了把？

lucene是java的，我用.net，使用lucene.net，php我還不太懂了

風吹不動 發表於 2015-1-1 08:39
% Z: r' @' d0 Z( [2 [1 c# j求分享採集思路，貌似翻頁有最大限制，無法全部採集

$ n% F6 `8 ^3 \; G9 j) T, W4 Y兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
  `1 k! |' P2 k1 h, W& B

leexiaochong 發表於 2015-1-1 10:34
4 Q6 V# ^4 i  x! l兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

sitemap贊一個，去試試         

0 K- D& c* s1 J  F9 q