pbn屏蔽ahrefs等蜘蛛,用robots.txt不是辦法,好的辦法是在.htaccess上屏蔽。.htaccess上是這樣的
. M" H) F, k I9 u! ~& [# {% q3 v# q6 C3 U2 }# N, m; g6 Q
[mw_shl_code=applescript,true]SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
# q9 y3 n! I* P4 q2 z sSetEnvIfNoCase User-Agent .*exabot.* bad_bot% M0 u1 k/ K) g( T+ f. Q7 E* C
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot2 V4 n5 ^: c" K7 ?8 f' C$ Y) q
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot" w$ d& j( T; i% h! W6 B" m. |
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
6 x" W0 o" L t1 g. S) v$ K6 OSetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot. L3 l( y3 J4 `* G2 d$ u5 p9 v
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
* m, \6 X. x. u) Q! ?" i9 T( h<Limit GET POST HEAD>, D# _& A" n8 d5 H
Order Allow,Deny+ P4 u3 b- I# f: L( b5 [
Allow from all0 P; A* k. D# N
Deny from env=bad_bot8 m7 ]5 l# |3 H$ T; k- [5 o( z9 Q
</Limit>[/mw_shl_code] H3 g8 [. k9 c( @! F. ~
% r, ]. g$ g% `但問題來了,vps都是nginx的,小白不知道怎麼改。那位高人幫改下,謝謝!
+ o& [! d4 R) D P/ k
. W$ a$ ~: S6 i* G5 J# x, [ |