請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
, f7 e' o- [, v) @' C

leexiaochong 發表於 2014-12-25 10:42
( C0 D. L( Q+ J2 T+ i) c3 K樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集
" w$ @2 z# n: {
6 r: H8 _4 o) U+ c/ C

熟能生巧哇 發表於 2015-1-1 01:29
7 x- z& A. H  A/ |lucene  是java的把？ PHP 用不了把？

lucene是java的，我用.net，使用lucene.net，php我還不太懂了
) i5 Z$ W: `4 Q0 H

風吹不動 發表於 2015-1-1 08:39
求分享採集思路，貌似翻頁有最大限制，無法全部採集

" t+ ]1 ^+ @% p兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
# b! C1 h' w$ e. c& h( C6 p: g' ]5 D9 B
/ q0 r8 \4 P2 {8 u. o* \3 C  k

leexiaochong 發表於 2015-1-1 10:34
兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

sitemap贊一個，去試試         

4 \9 G; _' j0 F, K