欢迎您加入苏鸦虹分类目录! (我要快速审核) (我要上推荐位
当前位置:苏鸦虹分类目录 » 站长资讯 » 网站帮助 » 站点帮助 » 文章详细 订阅RssFeed

苹果cms降低服务器负载教程

来源:本站原创 浏览:253次 时间:2023-09-17

服务器负载绝大多数都是蜘蛛(尤其是谷歌蜘蛛)爬的问题

这里放了一些ua黑名单规则,里面包含了谷歌蜘蛛(googlebot)以及必应蜘蛛(bingbot),谷歌蜘蛛小型测压器,必应只爬不收,其他的都是些垃圾蜘蛛和爬虫,默认屏蔽即可,如有误杀请自行移除,如果因为屏蔽导致掉权重的话我也不负责!

也建议使用robots.txt进行规范化管理蜘蛛爬站,具体可以百度一下robots规则的写法,同时也附赠了一份robots规则,但请注意,请自行根据自己站点的目录框架进行适配!不保证我的规则能和你们通用!如果规则不能完全适配就会导致蜘蛛怕错目录,严重影响蜘蛛信用进而掉权限!请自行适配自己的站点目录!!!

robots规则并不能防止垃圾蜘蛛爬站,因此建议略微放宽ua黑名单后,自行添加robots规则,当然小白不需要谷歌/bing蜘蛛带来的流量的话可以选择一刀切。(必应需要手动提交网址后才能收录,相对麻烦,我也没提交过收录所以直接切了必应,如有误杀请及时移除!)



第一步:修改或覆盖robots.txt内的规则

User/agent: *

Disallow: /cache

Disallow: /images

Disallow: /inc

Disallow: /js

Disallow: /player

Disallow: /template

Disallow: /a

Disallow: /.

Disallow: /vod/play

Allow: /vod/type/id/*.html$

Allow: /vod/type/id/*/pg/*.html$

Allow: /vod/detail/id/*.html$

Allow: /vod/search$

Allow: /vod/list/id/*/pg/*/order/*/by/*/class/*/year/*/letter/*/area/*/lang/.html$

Allow: /gbook/index.html$

Sitemap: /rss/index.xml$


第二步:添加宝塔ua黑名单规则

["(AhrefsBot|GoogleBot|aliyun|bingbot|crawler|CipaCrawler|commoncrawl|Digital AlphaServer|DomainCrawler|DotBot|dacongyun|daum|Epiphany|feedly|Go-http-client|GroceryHouse|greatdealshop|http-client|KOCMOHABT|ltx71|inoreader.com|msnbot|Miniflux|MJ12bot|magpie-crawler|mail.ru|Media Center PC 6.0|MSIE 6.0|MegaIndex.ru|Nimbostratus-Bot|Nexus 7 BuildNimbostratus|opensiteexplorer|pingbot|PhantomJS|Python-urllib|python-requests|python|php-market|Qwantify|rssbot|Scrapy|SemrushBot|subscribers|t.me|uptime|WinHttp|x09Chrome|YandexBot|zgrab|9.1.0.0 Safari|17.0.963.56|34.0.1847.116|41.0.2227.1|45.0.2454.93|57.0.2987.133 Safari|59.0.3071.115 Safari|535.11|20101213)"]

本文章“苏鸦虹分类目录http://www.suyahong.store”编辑收录

转载请注明-原文链接:苹果cms降低服务器负载教程

推荐站点

  • sh991网址导航sh991网址导航

    sh991网址导航,991自动链是国内最好网址站之一,建于2008年5月。本站的宗旨是:方便网友们快速找到自已需要的网站,而不用去记太多复杂的网址;同时也提供了搜索引擎入口,各大邮箱快速登陆入口,常用工具等服务项目,让您轻松愉快的享受网络给您带来的乐趣。

    www.sh991.cn
  • 药方大全网药方大全网

    本站为您搜集整理了大量的验方偏方秘方古方等中药方(中药方剂)八万多个。你是你自己的中医,我是你的中药方!中医中药秘方网,偏方大全愿为您的健康保驾护航。

    www.zhongyf.com
  • 百度贴吧百度贴吧

    百度贴吧——全球最大的中文社区。贴吧的使命是让志同道合的人相聚。不论是大众话题还是小众话题,都能精准地聚集大批同好网友,展示自我风采,结交知音,搭建别具特色的“兴趣主题“互动平台。贴吧目录涵盖游戏、地区、文学、动漫、娱乐明星、生活、体育、电脑数码等方方面面,是全球最大的中文交流平台,它为人们提供一个表达和交流思想的自由网络空间,并以此汇集志同道合的网友。

    tieba.baidu.com
  • hao123_上网从这里开始hao123_上网从这里开始

    hao123是最具权威的中文上网导航,汇集最优秀的网站及资源。及时收录影视、音乐、小说、游戏等分类的网址和内容,让您的网络生活更简单精彩。上网,从hao123开始。

    www.hao123.com
  • 北极星工程招聘网北极星工程招聘网

    北极星工程招聘网提供全国工程行业最权威的招聘信息, 为工程、环境工程人才提供大量的工程招聘信息, 并为企业准确推荐工程专业人才,是工程求职招聘服务的专业网站,涉及工程环境工程招聘,工程造价监理招聘,工程电力设计招聘,工程建筑工程招聘,工程机电安装招聘,工程市政景观路桥招聘,工程水利水电工程招聘等领域.

    gcjob.bjx.com.cn
  • 70网站目录70网站目录

    全人工编辑的开放式网站分类目录,免费收录国内外、各行业优秀网站,旨在为用户提供网站分类目录检索、优秀网站参考、网站推广服务。

    www.70dir.com