屏蔽国外烦人的MJ12bot蜘蛛！

早上起来打开网站一看，突然发现网站很卡，还以为是网卡呢。又试了一下打开百度，百度秒开，心里顿时咯噔一下，不会是网站被打了吧。

找到服务器打开试了一下，依旧很卡，不过好在是打开了，一看CPU一直处于高占用状态。

想了想可能是一下几个原因：

1、服务器被挂马

2、蜘蛛爬行频繁

3、网站被攻击

第一种情况，服务器被挂马，想了想应该不太可能了，服务器也没乱装什么软件，于是先排查一下网站的情况。

一个一个网站日志查看过去，并没发现什么异常，直到有一个站点的日志是这样的，我才知道了问题所在。

一看以为是这个IP在攻击网站，其实他是一个国外的蜘蛛

给大家复制两段来看看

167.114.101.143 - - [16/Feb/2021:09:30:07 +0800] "GET /aqjfai.shtml HTTP/1.1" 200 13327 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"
167.114.101.143 - - [16/Feb/2021:09:30:11 +0800] "GET /aqjlcu.xsl HTTP/1.1" 200 12889 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

我们可以看到这个蜘蛛请求量十分频繁，导致服务器一卡一卡的。

我们在robots或者将这个IP屏蔽即可解决

在robots中添加如下：

User-agent: MJ12bot
Disallow: /

这个意思就是禁止MJ12bot访问网站的任何目录

目前银狐的robots配置是如上图，因为还有一个蜘蛛也在频繁访问于是也屏蔽掉了

这两种蜘蛛除了增加你的服务器负担外，不会对你的网站造成什么好的影响，也不会点击网站上的广告，更不会增加你网站的流量。

对于国内的中文网站来说，这两个蜘蛛没有任何效果，所以银狐的建议是屏蔽。

一般来说，很多不熟悉的蜘蛛程序都是一些国外的营销网站开发出来的，他们抓取世界各地的网站，以此提供SEO服务。

屏蔽掉这俩蜘蛛之后，网站又恢复了正常！