网站不论是否做SEO，都要装一个可以监控蜘蛛的插件

21fanqie

网站不论是否做SEO，都要装一个可以监控蜘蛛的插件


       因为有些蜘蛛一来，就瞬间抓取大量数据，导致系统“负载状态”瞬间到达100%。正常的搜索引擎是不会瞬间让你的网站负载满的，所以这种蜘蛛多数是恶意蜘蛛，是要屏蔽的。

       这个时候用监控蜘蛛的插件就可以看得很清楚，是哪里来的ip。如果这个ip不是正常搜索引擎的蜘蛛，又查不出是什么名称的蜘蛛，而ip地址又是国外的，那基本上直接封IP段即可，比如原ip为：144.76.72.24，那直接把后面两个全封掉，比如写成：144.76.*.*

       在discuz中，直接在“用户”——“禁止ip”中输入 “ 144.76.*.* ” 即可。

                               
登录/注册后可看大图

         在判断服务器要不要加配置之前，要先把各种垃圾蜘蛛屏蔽掉（屏蔽方法详见：http://www.21fanqie.com/thread-612-1-1.html），然后再看真实有用的流量是否会导致服务器承受不了，以此来判断是否需要升级服务器配置。