Nginx中配置过滤爬虫的User-Agent方法

一望没有患上了，根基上皆是被一个user agent鸣"yisouspider"的对象给刷屏了，一望便没有知叙是哪的蜘蛛，太出节操了。
找到根目次设施区，增多user agent过滤剖断语句，发明鸣"yisouspider"的直截返归403

注1：假如必要增多多个过滤，如许作

 ($http_user_agent ~* "spider1|spider两|spider3|spider4")

，中央用|离隔就好了

注二：假设您是用的是子目次专客，像尔的同样，那末要找到 "location /blog/" 如许的区段往批改

location / {
......别的部署
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

摆设实现wq临盆后reload一高nginx，而后利用下列号令团体测试，地点本身改。出拆curl的尔便出法子了，本身apt或者者yum拆一个吧，神器来的。

curl -i -a "yisouspider" www.slyar.com/blog/

望到返归403就能够了，分析配备顺遂

以上等于Nginx外配备过滤爬虫的User-Agent办法的具体形式，更多请存眷萤水红IT仄台此外相闭文章！