如何防止扒的或採集的站被老外投訴

這遍文章是根據本人知道的一些粗陋的想法和知識寫成的，因未經實踐檢驗，所以並不能保證100%正確，還有待抄站的朋友實踐後反饋給我。

首先我認為老外是通過搜索引擎搜索特定的內容來找到那些抄襲他網站的，這就能解釋為什麼有些站放了半年才被投訴，那是因為前半年網站根本就沒有被搜索引擎收錄。

. R0 Z) r  F9 c' w所以如果要防止扒的或採集的網站被老外投訴的關鍵是阻止搜索引擎收錄這些網站，有一個很簡單的方法達到這個目的，那就在根目錄建一個robots.txt，
; U/ ~+ w* R2 r$ o* B5 o- z寫入內容如下：
1 A5 ?$ p+ K+ b6 P+ T  j
! Z/ C0 A% O, H/ {, l/ x) tUser-agent: *
/ z7 ^7 ^. T9 |0 E' h. QDisallow: /

7 U+ z; ]! ]" b; s- }& ?這樣就可以禁止任何搜索引擎抓取你的網站了。
$ K3 u# T. I" z, f
其實很簡單，如果你就是這樣簡單的運用，直接用上面的方式就可以。
如果你希望更深入瞭解robots.txt的運用，比如你有些目錄下的網頁是抄的不希望被收錄，有些則只希望被google收錄，那麼你可以看看下面的我的兩篇轉帖。（以上內容作者Z[url=http://www.9125.info/]eiyaiter[/url]，未經授權嚴禁轉載。當然如果你轉了，我也沒有辦法......)

轉帖一：《Robots.txt 協議標準》介紹  作者：雅虎搜索日誌小組

近期有很多站長咨詢，怎樣正確設置"robots.txt"文件。為了解決廣大站長朋友們的疑問，我們對《Robots.txt 協議標準》進行了翻譯，希望此篇譯文能夠幫助大家對"robots.txt"文件有更深的瞭解。

Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單，但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內容，或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。

: c" B' Y( L  w# {# L2 o下面我們就來詳細介紹一下它的使用方法：

: E) w7 V: C! {
( b; Q7 B* G9 i4 P/ {9 d, }/ E6 lRobots.txt 文件應該放在網站根目錄下，並且該文件是可以通過互聯網進行訪問的。
8 E( v+ ?  W7 X- s( g
; b' p2 c  A: {$ w; f例如：
如果您的網站地址是 http://www.yourdomain.com/
, X" E  w4 \: n& b  h那麼，該文件必須能夠通過 http://www.yourdomain.com/robots.txt 打開並看到裡面的內容。
" w; f5 o$ Y4 S% R' a1 u: N
0 Q+ u/ S! T  ]1 R9 a: G格式：
* U  V9 W0 F5 X7 Y0 ], _; V
User-agent:

4 L; l3 ]3 m; y( o5 P/ r用於描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設為*，則該協議對任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"這樣的記錄只能有一條。

1 \' G! g& u8 S8 X: JDisallow:

用於描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被Robot訪問到。
3 Q7 {* X8 n* x) {
舉例：
, O0 K+ f% e% e7 I1 O+ a; h例一："Disallow:/help"
# c5 j: O+ M8 E( Q' }+ o是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。
例二："Disallow:/help/"
是指允許搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。
- C7 a' N! z2 [5 u. x6 e例三：Disallow記錄為空

0 E3 ^0 b+ [# L+ H! f) D3 K說明該網站的所有頁面都允許被搜索引擎抓取，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件，則對於所有的搜索引擎蜘蛛，該網站都是開放的可以被抓取的。

#:
4 U: f( t7 M. o. {Robots.txt 協議中的註釋符。
5 w5 ?1 A% Y8 V, X: J4 z  \6 c
5 |( J5 e6 y# L+ Y舉例：
. j+ ]$ P8 I1 q) y例一：通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄，以及 "/tmp/"目錄和 /foo.html 文件，設置方法如下：
5 s% s2 I3 t2 N- e7 a6 s5 QUser-agent: *
Disallow: /bin/cgi/
% R2 d3 j! A4 B0 V( h8 Q0 \1 LDisallow: /tmp/
Disallow: /foo.html

例二：通過"/robots.txt"只允許某個搜索引擎抓取，而禁止其他的搜索引擎抓取。
如：只允許名為"slurp"的搜索引擎蜘蛛抓取，而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容，設置方法如下：
. ?! e/ `: @' i4 O. N+ ^User-agent: *
Disallow: /cgi/
# u8 n* Z* S# N3 j1 N4 `' }
User-agent: slurp
Disallow:

# U- B0 r+ Z7 q- s$ |, h1 K5 u! R! u例三：禁止任何搜索引擎抓取我的網站，設置方法如下：
" b7 H" _$ O' g# m$ {( [2 l$ D5 SUser-agent: *
) \+ g  R/ e3 p+ V2 `Disallow: /

例四：只禁止某個搜索引擎抓取我的網站
如：只禁止名為「slurp」的搜索引擎蜘蛛抓取，設置方法如下：
+ i; ^* P, h$ I; ^0 H8 QUser-agent: slurp
Disallow: /
1 V3 A" ^3 {3 x3 A& o& m  Z
7 e3 ?- d+ p* g: D9 \; l
轉帖二：robots.txt 指南--介紹

有一種力量其實一直在滲入大量的網站和頁面，我們通常看不到它們，而且它們通常也很蠻橫，大部分人甚至不知道它的存在，大家不要誤會，其實我說得是搜索引擎爬蟲和機器人。每天，上百個這樣的爬蟲會出來對網站進行快速的搜索。不管是不是google打算對整個網絡進行索引，還是spam機器人打算收集大量的 email地址，通常它們這樣的尋找是漫無目的的。作為網站擁有者，我們可以通過一個叫做robots.txt的文件來控制哪些動作是機器人可以做的。
! o; a1 T  L% K9 ]
9 U, b+ l( e6 f! g  y. v: F% n創建robots.txt文件
9 g7 L6 h; I: j/ P: \
好，現在我們開始行動。創建一個叫robots.txt的文本文件，請確保它的文件名是正確的。該文件必須上傳到在您的網站的根目錄下，而不是二級目錄下（例如，應該是http://www.mysite.com，而不是http: //www.mysite.com/stuff），只有滿足以上兩點，即文件名正確和路徑正確，搜索引擎才會根據該文件中的規則工作，否則 robots.txt僅僅只是個常規文件而已，沒有任何作用。
1 ^$ s% z; R0 ^5 Q7 M0 `
9 U1 X- h* @* V4 ?9 z$ X現在，你已經知道如果這個文件該如何命名，以及應該把它上傳在何處，接下來你會學習在這個文件中鍵入命令，搜索引擎會遵循一個叫做「機器人排除協議」(Robots Exclusion Protocol)的協議。其實，它的格式很簡單，並且能夠滿足大多數的控制需要。首先是一行USERAGENT用來識別爬蟲類型，緊跟著的是一行或者多行DISALLOW，這些行是用來限制爬蟲訪問網站的一些部分的。

1) robots.txt基本設置
) z" `# s# w4 d  a0 ?0 bUser-agent: *
Disallow: /根據以上的聲明，所有的爬蟲（這裡用*表示出來）均不允許對您的網站的任何部分進行索引，這裡的/表示所有頁面。通常情況下這不是我們需要的，但這裡僅僅是讓大家有個概念而已。

% s$ m7 J$ |2 Q2) 現在讓我們做一些小小的改動。儘管每個站長都喜歡Google，但是你可能不希望Google的鏡像機器人挖掘你的網站，也不希望它把你的網站的鏡像放在網上，實現在線搜索，如果僅僅是為了節省你的網站所在的服務器的帶寬，下面的聲明可以做到這一點
User-agent: Googlebot-Image
% Y0 F" h: Y; ?Disallow: /

" u/ l+ G4 v% o4 w( e$ C3) 以下代碼不允許任何一個搜索引擎和機器人挖掘目錄和頁面信息
+ H$ p. ^, K+ z$ j$ G) |/ jUser-agent: *
! \1 I2 q, ]+ H) N7 r! A# p' {$ jDisallow: /cgi-bin/
Disallow: /privatedir/
( s3 ?! L2 R) K% yDisallow: /tutorials/blank.htm

4) 你還可以對多個機器人設置不同的目標，看看下面的代碼
$ s* \! a* ~' U, w( J# w) `8 ZUser-agent: *
Disallow: /
# O8 S+ t' u0 y7 Q9 Q6 O- {User-agent: Googlebot
$ b- I4 I0 i4 Y1 _0 WDisallow: /cgi-bin/
+ |! `% h) i6 }4 C& ODisallow: /privatedir/這個設置很有趣，這裡我們禁止了所有的搜索引擎對於我們的網站的挖掘操作，除了google，在這裡Google被允許訪問除了/cgi-bin/和/privatedir/以外的所有站點。這裡說明，規則是可以定制的，但不是繼承而來的。

/ f% l3 t0 X& C$ _% h5) 有另外一種使用Disallow的方法：即允許訪問網站所有內容，其實只要冒號後不輸入任何東西就可以了
; o. L# z9 C6 X, o9 MUser-agent: *
Disallow: /
, h' s. W5 w. {6 Y$ PUser-agent: ia_archiver
Disallow:在這裡，除了alex以外的所有爬蟲都不允許搜索我們的網站

, X% ?9 O1 S& Q/ k* L( X6) 最後，一些爬蟲現在支持Allow規則，最著名的就是Google。正如這個規則的名字所說，"Allow:"允許你精確的控制那些文件或者文件夾是可以被訪問的。然而，這個文件目前還不是robots.txt協議的組成部分，所以我建議只有在必須使用時才使用它，因為一些不夠聰明的爬蟲可能認為它是錯誤的。
1 V" g$ a, n# G下面的內容來自於Google's的FAQs for webmasters，如果你希望除了Google以外的爬蟲都不挖掘你的網站，那麼以下的代碼是做好的選擇
! _" g6 q. V  C+ |User-agent: *
Disallow: /
, m( Q+ \4 m+ J0 KUser-agent: Googlebot
Allow: /

[ Last edited by fatie on 2008-10-8 01:31 ]

問題是如果沒有搜索引擎收錄，網站的流量大減，網賺還有意義嗎？難道全部用PPC？成本好高啊

最簡單就是自己做自己的

二樓的，還是新手，呵呵，不怪你，慢慢你就瞭解到，自已的網站只有自已和聯盟的人看，

其它人看到的越少越好

這個沒有用的·
5 k7 N$ B: ]7 x) K$ z4 g4 d/ @- |老外查版權不用google的
& \& V0 |, v# w我測試過了，新扒的站，還是可以查到