网站建好后，要注意在robots协议写好以下需要屏蔽的蜘蛛

21fanqie

网站建好后，要注意在robots协议写好以下需要屏蔽的蜘蛛：

1.SemrushBot：SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。
2.AhrefsBot：Ahrefs网站是国外一家比较有名的营销网站，也是大家做外贸网站SEO可能会用到的外链查询分析网站，对大部分网站来说都没什么用。（AhrefsBot基本上是最不守规矩的，经常即便在robots中加入了不允许爬行，它还是会来）
3.MJ12bot：这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。
4.DotBot：DotBot是国外Moz旗下链接分析网站opensiteexplorer的，DotBot蜘蛛专门用来分析网站的外链数据
5.Uptimebot：Uptime Robot 是国外知名的服务器及网站应用服务器在线率监控工具，支持监控 HTTPs 、Ping 、端口、关键词以及查看监控 服务器/网站 的正常运行时间、停机时间和响应时间。
6.MegaIndex.ru：这是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，并没有什么作用。
7.ZoominfoBot：ZoomInfo Technologies Inc.是一家软件和数据公司，为公司和商业人士提供信息和数据。
8.Mail.Ru：Mail.Ru集团，ООО（通常被称为Mail.Ru）是俄罗斯互联网公司。它于1998年开始作为一个电子邮件服务，并继续成为互联网的俄语段一大型企业的身影。
9.SeznamBot：关于SeznamBot的网络爬虫的信息，叫做SeznamBot，还有其他由Seznam.cz运行的机器人，以及你可以控制它们行为的方法。SeznamBot的网络爬虫的行为与其他搜索引擎如谷歌或必应的爬虫相似，SeznamBot会尽力使它不会使你的网站超载。尽管如此，如果你发现由于SeznamBot的爬虫引起的流量使你的服务器超载，SeznamBot建议在robots.txt文件中设置一个规则来限制请求率。
       尽管您可以不允许SeznamBot抓取和索引您的网站，但SeznamBot恳请您不要这样做，因为我们的用户将无法在搜索结果中看到您的网页。请考虑将SeznamBot的网络爬虫的IP地址列入白名单。
10.BLEXBot：BLEXBot，这是一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，最终把这个链接提交给他们自己的系统。
11.ExtLinksBot：找不到相关信息，最好屏蔽
12.aiHitBot：找不到相关信息，最好屏蔽
13.Researchscan：找不到相关信息，最好屏蔽
14.DnyzBot：找不到相关信息，最好屏蔽
15.spbot：找不到相关信息，最好屏蔽
16.YandexBot：这是俄罗斯的一家搜索引擎，我们一般把YandexBot爬虫蜘蛛叫做俄罗斯蜘蛛。
17.DataForSeoBot：DataForSeoBot这个蜘蛛，每天爬几百上千的页面，搜了搜，是一个国外的seo运营公司的蜘蛛，换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。

                               
登录/注册后可看大图

写法：
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /

                               
登录/注册后可看大图

这两个蜘蛛不建议封禁，一般他们很少来，他们本身也是搜索引擎的蜘蛛，如果服务器允许，最好放开，删除以下代码：
User-agent: SeznamBot
Disallow: /
User-agent: YandexBot
Disallow: /

                               
登录/注册后可看大图

其他封禁的方法：https://www.jianshu.com/p/86adba2a0a6c

                               
登录/注册后可看大图

       这些无用蜘蛛在爬行网站的时候，也是要浪费你的网站服务器资源的，占用你的CPU，大量蜘蛛爬行网站的情况下，对你的网站资源占用就会跟高，极容易造成网站的卡顿!
       甚至有一部分人也发现了，网站平时比较快，偶尔会慢几分钟，超级慢，服务器和域名解析之类都没有问题，慢几分钟之后，就会恢复原来的速度!
       这时候，极有可能是因为蜘蛛引擎在大量爬行你的网站造成的，所以，我们才会想办法屏蔽这些无用的蜘蛛!