如何阻止国外搜索引擎蜘蛛访问Nginx网站

发布时间：2024-01-04  栏目：调试安装   浏览：   分类：nginx教程 搜索引擎

要禁止国外搜索引擎蜘蛛爬取，可以在Nginx配置文件中添加以下代码： ``` location ~* \.(php|js|css|png|jpg|jpeg|gif|ico)$ { if ($http_user_agent ~* (googlebot|bingbot|yandexbot|baiduspider)) { return 403; } } ``` 这段代码表示，如果请求的URL以`.php`、`.js`、`.css`、`.png`、`.jpg`、`.jpeg`、`.gif`或`.ico`结尾，并且User-Agent中包含谷歌、必应、雅虎或百度的爬虫标识，那么返回403禁止访问。

国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。

这时候我们就可以禁止不常见的搜索引擎制作爬取，本次菜鸡源码分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。

直接上代码：

if($http_user_agent~*(SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)){return444;}

复制到Nginx的配置里面，多个用“|”隔开。

相关专题