PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路
- H' E6 Q& F1 V% D! i
( H1 g; o/ N. t: l5 A- S今天說一下，如何讓pbn不被競爭對手察覺
0 a: B+ ?& t* ], Q3 x5 S: R" K- N
9 C/ O  E& x8 K& d原理：
不被各種分析工具的蜘蛛給抓到
1 r3 V( p0 o( e* F0 Y9 }- }3 H
5 E" A6 S6 ]7 d2 z5 r+ M方式：
有很多種，，我只說一下robot的寫法
; F/ l: g% T* M6 I" c
我們先認識一下幾個通用的robot

- I7 N7 d0 ^) B) R

rogerbot (SEOmoz)
$ N: w  w4 `! Vexabot (3ds.com)
7 H# V$ s& C/ D7 b: c2 D: C& UMJ12bot (majesticseo.com)
$ l) _9 R$ c# i$ ldotbot (dotnetdotcom.org)
gigabot (gigablast.com)
AhrefsBot (ahrefs.com)

我們robot可以這麼寫：
5 a  |3 o" G8 B

User-agent: rogerbot
Disallow: /

" _! {. o$ U' Q$ I( ^User-agent: exabot
Disallow: /

9 b/ ?, w( Y  {  eUser-agent: MJ12bot
& x! n( `: u% g. C2 {+ A6 q4 {Disallow: /
3 x1 {/ x/ X) j. }9 V2 `
' }2 R. m8 a  {3 u# a  AUser-agent: dotbot
* S" i4 X4 s( n+ i. ?; ~0 DDisallow: /
% [4 W, k9 g' a0 ?) V
4 m1 O+ g4 g$ y. h) u3 J" z2 |: yUser-agent: gigabot
Disallow: /

( [( ~1 f# x$ \5 j8 [. ~User-agent: AhrefsBot
Disallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。
  N4 u4 N6 r7 K# o1 u
; V1 d; f) h$ o
* s  o6 ?1 r0 N* M, U$ P7 `' @/ Y

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的
+ F# F  J" }8 b$ ^$ x

支持小黑同學出PBN專輯。。可以好好學習下了。
; b7 d) q/ T' i8 l9 s' e) [

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡
9 s! H, \/ j9 Q% z" B* c

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。
, z+ A+ ?, ]4 ~- A' C- z/ J+ [* Z

謝謝樓主的分享，等待後續
+ A0 e1 G/ e2 r* G# v" U) ]' ]0 |

謝謝樓主分享經驗      

隱性判斷，不使用robots.
- j* h0 c: k7 C) [+ r

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？

5 d& t! m- M4 ]* x

misca 發表於 2014-4-26 21:23
禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？

+ t  j0 `  B2 q+ n# P' |! x ...

: ]& H6 C$ v7 D2 f( m: p" o可以的。。。只支持 google、bing等幾個。
, K; i( ?( H+ G" M; ?

User-Agent: Googlebot
Allow: /
" V6 p$ ^: J% a( b1 {- XUser-Agent: *
Disallow: /

0 Q# P+ |9 y! ?2 {