菜鸡源码,专注精品下载!
当前位置:首页 > 建站教程 > 建站知识

如何禁止AhrefsBot蜘蛛爬取网站

发布时间:2024-01-04  栏目:建站知识   浏览:   分类:

要禁止AhrefsBot蜘蛛爬取网站,可以在网站的根目录下创建一个名为“ahrefs.txt”的文本文件,并在文件中添加以下内容: ``` User-agent: AhrefsBot Disallow: / ``` 这样,AhrefsBot蜘蛛就会收到一个“禁止访问”的响应,从而不会爬取网站。需要注意的是,这种方法只能阻止AhrefsBot蜘蛛爬取网站,其他搜索引擎的蜘蛛仍然可以正常访问。此外,这种方法可能会对网站的SEO排名产生一定影响,因此需要谨慎使用。

AhrefsBot蜘蛛是什么?

AhrefsBot是一个国外的网站优化营销网站爬取蜘蛛,通过不断抓取网络中网站数据,每24小时爬取访问超过60亿个网页数据。通过分析庞大的数据,来优化各大搜索引擎算法,进而为大家提供更好的网站优化方案。

AhrefsBot官网:https://ahrefs.com/robot,干兴趣的可以去看看。

因为国内网站基本用不到国外搜索引擎优化,除非你是做外贸网站的则可以试试,所以这种蜘蛛爬取你的网站,除了浪费服务器资源外,基本来说没有任何作用。

如何禁止AhrefsBot蜘蛛爬取网站

如何禁止AhrefsBot蜘蛛

做网站本应该是“多多益善”,什么蜘蛛都来者不拒,但奈何这个AhrefsBot蜘蛛太恐怖了,一天爬取了菜鸡源码几百万次,服务器都要跑满了,但一个真实流量也没带来,不得不禁止了,那么如何禁止AhrefsBot爬虫了。

Robots.txt封禁

打开网站根目录的robots.txt文件,在顶部加上一段:

User-agent:AhrefsBotDisallow:/

服务器封IP

robots.txt方法是对遵循robots规则的蜘蛛而言,但不确定AhrefsBot是否认这个,保险起见我们还可以直接封掉AhrefsBot蜘蛛的IP,直接不让访问。

AhrefsBot官方给出的蜘蛛IP段:

54.36.148.0/2454.36.149.0/2454.36.150.0/24195.154.122.0/24195.154.123.0/24195.154.126.0/24195.154.127.0/24

以宝塔为例,直接安装个“系统防火墙”,把上面的IP添加进去即可。

如何禁止AhrefsBot蜘蛛爬取网站

评论
建站知识
建站知识
使用技巧
调试安装
运营推广