請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
! x8 \; X% {# }3 L# z* V4 d

leexiaochong 發表於 2014-12-25 10:42
樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集
8 |9 G  {" e' L% p
) @  Y) ~* h$ s

熟能生巧哇 發表於 2015-1-1 01:29
lucene  是java的把？ PHP 用不了把？

( q0 W" q( N8 U1 P" Mlucene是java的，我用.net，使用lucene.net，php我還不太懂了
$ ~7 Y5 p$ \+ U$ ], W+ t! T
. h: m2 X( }; x  E) J" Y) P9 m

風吹不動 發表於 2015-1-1 08:39
9 s9 J7 K4 A; F$ E" `2 s求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
" H( r/ ]6 h$ f5 A1 ?5 B
! `  E$ b; m0 {( [- B

leexiaochong 發表於 2015-1-1 10:34
6 ~5 c' J' y# p. e3 K( p, c7 V! Q" A兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

sitemap贊一個，去試試         

: \3 T# f% E6 F" c