苹果cms降低服务器负载教程

来源:本站原创　浏览：156次　时间：2023-09-17

服务器负载绝大多数都是蜘蛛（尤其是谷歌蜘蛛）爬的问题

这里放了一些ua黑名单规则，里面包含了谷歌蜘蛛（googlebot）以及必应蜘蛛（bingbot），谷歌蜘蛛小型测压器，必应只爬不收，其他的都是些垃圾蜘蛛和爬虫，默认屏蔽即可，如有误杀请自行移除，如果因为屏蔽导致掉权重的话我也不负责！

也建议使用robots.txt进行规范化管理蜘蛛爬站，具体可以百度一下robots规则的写法，同时也附赠了一份robots规则，但请注意，请自行根据自己站点的目录框架进行适配！不保证我的规则能和你们通用！如果规则不能完全适配就会导致蜘蛛怕错目录，严重影响蜘蛛信用进而掉权限！请自行适配自己的站点目录！！！

robots规则并不能防止垃圾蜘蛛爬站，因此建议略微放宽ua黑名单后，自行添加robots规则，当然小白不需要谷歌/bing蜘蛛带来的流量的话可以选择一刀切。（必应需要手动提交网址后才能收录，相对麻烦，我也没提交过收录所以直接切了必应，如有误杀请及时移除！）

第一步：修改或覆盖robots.txt内的规则

User/agent: *

Disallow: /cache

Disallow: /images

Disallow: /inc

Disallow: /js

Disallow: /player

Disallow: /template

Disallow: /a

Disallow: /.

Disallow: /vod/play