輕鬆獲取 3500 萬個 Google Profile 信息

今年2月，安全研究專家Matthijs R. Koot很輕鬆的獲得了一個包含有3500個Google Profile信息的數據庫，包括有3500萬個用戶的Twitter說話記錄、真實姓名、Picasa圖片和郵件地址。由於每個人的Google Profile幾乎都是開放的，所以他輕鬆就批量抓取到了3500萬個人的信息，保存在一個SQL數據庫裡。
3 r  o1 h; Q$ _  I: c7 M% F% Z
# \4 g! d8 \- r0 ~2 w' q( GGoogle對其大規模大批量抓取Google Profile的行為沒有進行反應，就是說Google沒有阻攔他的爬蟲，沒有任何驗證碼機制，毫無限制的就允許他輕鬆的在一個月內的時間裡使用spidermonkey和其它Javascript代碼持續下載到了所有的信息，然後將他們轉移到數據庫裡保存。

實際上從2008年開始，Google的profiles-sitemap.xml就一直存在，其中包含了指向7000多個sitemap NNN(N).txt的文件，每個文件又包含了5000個指向Google Profile的超級鏈接，總共就是3500萬個。比如從sitemap-000.txt裡即可得到：

. H" R) F: v8 y# z. ^  N9 ihttps://profiles.google.com/117135902571938793602
! d7 b/ _4 R2 I9 _9 K) m+ k; Zhttps://profiles.google.com/112006952710949332145
9 M0 B9 W# P, p3 y% a- S2 xhttps://profiles.google.com/105382462492606983441
6 q/ x' w7 i; I( {) I- nhttps://profiles.google.com/109299750146769054739
https://profiles.google.com/104555562341640123846
$ i# Y  s  K9 x; u% Thttps://profiles.google.com/112956845518767535694
然後排出爬蟲抓取這些地址，即可得到3500萬用戶的Google Profile裡存儲的信息。實際上這一做法也是合法的，因為Google.com的robots.txt文件其實允許爬蟲索引Profile目錄，其中有這樣的字段：

Allow: /profiles
5 U, z: c  V3 U& |, E) z* MAllow: /s2/profiles
' G! v- E4 {( b5 ]; H; QAllow: /s2/photos
( E, S) [3 x9 j! q% j  ^% u( dAllow: /s2/static
Matthijs R. Koot的這一研究實際是自己在阿姆斯特丹大學所做的隱私/匿名研究的一部分。最後Matthijs R. Koot還對Google表達了自己帳號不要被封的意願，因為他的Blog托管在Blogger。

這個確實不錯，也許可以用來發郵件

強大的數據

開放的google　profile

很難用的上

我訪問這些鏈接怎麼是空白頁

裡面是有數據的，不過只有少部分有郵箱和詳細情況，還是有價值的。

要搜索還在分析數據~~

違法的事情還是不要去做

違法的事情