PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路
  w9 {& e8 n1 ?' B$ w* q
. H2 _5 l$ {9 O2 z7 [# ~" q% H今天說一下，如何讓pbn不被競爭對手察覺

- r4 ~. H. W3 s; r' j原理：
$ w. d" `3 H) F6 J不被各種分析工具的蜘蛛給抓到
7 X! ?. V5 Z; K2 \0 }
方式：
有很多種，，我只說一下robot的寫法
# n% L- @9 a4 v4 ~, E
我們先認識一下幾個通用的robot
# X2 \2 F0 L* X: v

rogerbot (SEOmoz)
exabot (3ds.com)
MJ12bot (majesticseo.com)
dotbot (dotnetdotcom.org)
) G8 t% w2 k, {. Bgigabot (gigablast.com)
3 I" B& M1 @+ M7 @! @8 `5 wAhrefsBot (ahrefs.com)

我們robot可以這麼寫：

User-agent: rogerbot
& [, c  \' C' YDisallow: /

User-agent: exabot
- b" U0 a. _+ T0 ~/ o5 pDisallow: /

User-agent: MJ12bot
! h; h3 Z! D% j$ L0 @! t( z/ sDisallow: /

  ?9 e/ R& t9 W8 H1 R* _" h5 qUser-agent: dotbot
- h+ U" G- |* u7 \! [3 ADisallow: /

4 d3 m/ }6 J' l' E5 ^User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
0 Q& P4 Z4 [& HDisallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。

% s5 b3 m1 U4 e' `

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的

支持小黑同學出PBN專輯。。可以好好學習下了。

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡
+ i- K6 w7 n" W7 x

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。

謝謝樓主的分享，等待後續

謝謝樓主分享經驗      
, Y" Z5 O$ o6 f6 y6 `

隱性判斷，不使用robots.
  ]6 ]/ V. o% }) V; ^' o- B1 N

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
; N- A8 d) z2 K, ~

misca 發表於 2014-4-26 21:23
) ]0 [  A4 a4 q8 p# C. w3 E禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
% v: H; e, ?% K1 X1 G3 V0 Q9 o8 Y
...

' h! }+ e# A, V9 C( ]8 o可以的。。。只支持 google、bing等幾個。
- b* _% R3 F( v/ m5 `- Z, k' R. R

User-Agent: Googlebot
$ e: Q; Q- R" N) ~4 `3 xAllow: /
$ W4 l' u, O4 {1 F% l( \$ t3 [User-Agent: *
3 j& ~' W, s, e8 [" E; h1 Z7 i0 f0 ~Disallow: /

# X$ P" p; l/ v' s# P2 k1 r

9 g/ t6 r$ }+ H8 b$ l