輕鬆獲取 3500 萬個 Google Profile 信息

今年2月，安全研究專家Matthijs R. Koot很輕鬆的獲得了一個包含有3500個Google Profile信息的數據庫，包括有3500萬個用戶的Twitter說話記錄、真實姓名、Picasa圖片和郵件地址。由於每個人的Google Profile幾乎都是開放的，所以他輕鬆就批量抓取到了3500萬個人的信息，保存在一個SQL數據庫裡。

+ Y! n) K% j, o8 x0 A$ mGoogle對其大規模大批量抓取Google Profile的行為沒有進行反應，就是說Google沒有阻攔他的爬蟲，沒有任何驗證碼機制，毫無限制的就允許他輕鬆的在一個月內的時間裡使用spidermonkey和其它Javascript代碼持續下載到了所有的信息，然後將他們轉移到數據庫裡保存。

實際上從2008年開始，Google的profiles-sitemap.xml就一直存在，其中包含了指向7000多個sitemap NNN(N).txt的文件，每個文件又包含了5000個指向Google Profile的超級鏈接，總共就是3500萬個。比如從sitemap-000.txt裡即可得到：

% c( [/ |- U+ h# y- i( whttps://profiles.google.com/117135902571938793602
https://profiles.google.com/112006952710949332145
https://profiles.google.com/105382462492606983441
https://profiles.google.com/109299750146769054739
; `4 f  P9 l( f- mhttps://profiles.google.com/104555562341640123846
; s. p& M/ O$ ~* e7 [% Whttps://profiles.google.com/112956845518767535694
9 F$ m* @8 d% a) H2 k然後排出爬蟲抓取這些地址，即可得到3500萬用戶的Google Profile裡存儲的信息。實際上這一做法也是合法的，因為Google.com的robots.txt文件其實允許爬蟲索引Profile目錄，其中有這樣的字段：

7 O% Y6 a) @( M* g* WAllow: /profiles
  i! h! X) o$ r5 u6 UAllow: /s2/profiles
Allow: /s2/photos
Allow: /s2/static
Matthijs R. Koot的這一研究實際是自己在阿姆斯特丹大學所做的隱私/匿名研究的一部分。最後Matthijs R. Koot還對Google表達了自己帳號不要被封的意願，因為他的Blog托管在Blogger。

這個確實不錯，也許可以用來發郵件

強大的數據

開放的google　profile

很難用的上

我訪問這些鏈接怎麼是空白頁

裡面是有數據的，不過只有少部分有郵箱和詳細情況，還是有價值的。

要搜索還在分析數據~~

違法的事情還是不要去做

違法的事情