如何禁止AhrefsBot蜘蛛爬取网站

发布时间：2024-01-04  栏目：建站知识   浏览：   分类：

要禁止AhrefsBot蜘蛛爬取网站，可以在网站的根目录下创建一个名为“ahrefs.txt”的文本文件，并在文件中添加以下内容： ``` User-agent: AhrefsBot Disallow: / ``` 这样，AhrefsBot蜘蛛就会收到一个“禁止访问”的响应，从而不会爬取网站。需要注意的是，这种方法只能阻止AhrefsBot蜘蛛爬取网站，其他搜索引擎的蜘蛛仍然可以正常访问。此外，这种方法可能会对网站的SEO排名产生一定影响，因此需要谨慎使用。

AhrefsBot蜘蛛是什么？

AhrefsBot是一个国外的网站优化营销网站爬取蜘蛛，通过不断抓取网络中网站数据，每24小时爬取访问超过60亿个网页数据。通过分析庞大的数据，来优化各大搜索引擎算法，进而为大家提供更好的网站优化方案。

AhrefsBot官网：https://ahrefs.com/robot，干兴趣的可以去看看。

因为国内网站基本用不到国外搜索引擎优化，除非你是做外贸网站的则可以试试，所以这种蜘蛛爬取你的网站，除了浪费服务器资源外，基本来说没有任何作用。

如何禁止AhrefsBot蜘蛛

做网站本应该是“多多益善”，什么蜘蛛都来者不拒，但奈何这个AhrefsBot蜘蛛太恐怖了，一天爬取了菜鸡源码几百万次，服务器都要跑满了，但一个真实流量也没带来，不得不禁止了，那么如何禁止AhrefsBot爬虫了。

Robots.txt封禁

打开网站根目录的robots.txt文件，在顶部加上一段：

User-agent:AhrefsBotDisallow:/

服务器封IP

robots.txt方法是对遵循robots规则的蜘蛛而言，但不确定AhrefsBot是否认这个，保险起见我们还可以直接封掉AhrefsBot蜘蛛的IP，直接不让访问。

AhrefsBot官方给出的蜘蛛IP段：

54.36.148.0/2454.36.149.0/2454.36.150.0/24195.154.122.0/24195.154.123.0/24195.154.126.0/24195.154.127.0/24

以宝塔为例，直接安装个“系统防火墙”，把上面的IP添加进去即可。