什么情况下才会去禁止user_agent?

当网站的访问量比较大,服务器的资源比较紧缺,成本控制的很紧的时候;我们可以禁止某些垃圾蜘蛛爬我们的网站(也可以封这些蜘蛛的IP,但是它们的IP并非是固定的),比如当360或者sougou的蜘蛛访问我们完整网站时,就会出现403没有权限访问,一定程度上可以节省带宽,降级系统负载

server

{

    listen 80;

    server_name www.test.com www.bbb.com www.ccc.com;

    index index.html index.htm index.php;

    root /data/test;

    if ($http_user_agent ~* '360|sougou') {

        return 403;

    }

}

说明:其中的 ~* 表示不区分大小写,SOUGOU也不行了吧