怎样屏蔽垃圾蜘蛛？

2 573 2021-04-14 17:13:45

本文目录

1. 屏蔽遵循robots.txt协议的蜘蛛
2. 不遵循协议的蜘蛛怎样禁止
3. 切莫误伤友军提示
4. 网站日志在线分析

网上每天有很多各种各样的蜘蛛到处爬，许多小站点都整天被爬来爬去。如果纵容他们这样爬取，小服务器无疑扛不住。那么，怎样屏蔽垃圾蜘蛛呢？

屏蔽遵循robots.txt协议的蜘蛛

部分蜘蛛遵循robots.txt标准，如果需要屏蔽他，可直接在 robots.txt 添加以下代码;

User-agent: MJ12bot
Disallow: /

不遵循协议的蜘蛛怎样禁止

不遵循协议的蜘蛛我们也并非没有办法去阻止，执行下方命令，将相关蜘蛛请求返回403状态码即可（nginx）。

if ($http_user_agent ~* (AhrefsBot|mj12bot|blexbot)) {
    return 403;
}

大部分蜘蛛在收到服务器返回的403状态码后会迅速减少来访频率直至不来。

这样，我们就能阻止这些蜘蛛抓取页面爬取网站，在释放服务器压力的同时，也可以有效防止内容被垃圾蜘蛛抓取并滥用。

切莫误伤友军提示

petalbot为华为蜘蛛，切莫误伤友军。

网站日志在线分析

下载鸥的网站日志在线分析工具十分好用，不仅可以统计10多种蜘蛛的访问频次，还可以统计被访问的404页面、高频访问链接、高频访问ip，辅助站长决策。

本文地址：https://xzo.com.cn/operation/seo/112.html

有帮助，很赞！

信息来源：下载鸥

业务合作

如果您认可我们的分享，有意与我们合作开展帝国cms网站建设与开发业务或插件定制，请联系右侧在线客服。我们能给您的，就是高质量的模板与售后。

版权声明

标注了信息来源为下载鸥的文章皆为原创，如果是转载的优质文章，我们也都标注了出处。如果您喜欢我们的文章，请按照下载鸥所标注的文章出处进行标注，谢谢您的配合。

信息标签

百度蜘蛛

搜索引擎蜘蛛

华为蜘蛛

怎样提升抓取频次吸引更多的蜘蛛来抓取页面？网站日志里的Baiduspider-render/2.0是什么蜘蛛？更换服务器后百度站长平台sitemap一直抓取失败怎么办？搜索引擎蜘蛛Spider的工作原理 log日志在线分析蜘蛛ip查询工具 php判断搜索引擎来路为百度或360并展示不同内容帝国cms防采集插件网站怎样吸引更多的蜘蛛前来抓取？网站抓取超时是什么原因，要怎么办？ 360蜘蛛ip段与反查帝国cms宝塔面板蜘蛛日志分析插件下载 v2.1 petalbot是华为蜘蛛，广大站长切莫误伤友军帝国cms栏目信息防采集栏目列表只显示100条信息帝国cms禁止蜘蛛抓取后台提升网站安全怎样分析网站日志？ petalbot是什么蜘蛛？百度蜘蛛活跃时间段分析与定时审核 PHP 正则匹配日志信息并存入数据库不同的百度蜘蛛ip段代表的意义详解

导出教程下载word版教程

关于网站优化

SEO（Search Engine Optimization）就是我们常说的网站优化、搜索引擎优化。是一种利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名的方式，目的是让公司网站在互联网上占据领先地位，获得品牌收益。

SEO不是采集，不是拼凑，也不是数据的堆积，其核心的思路其实还是在于更好的用户体验。当你的网站用户体验极佳时，也一定是SEO极好的。反过来说SEO做得很好的站点，用户体验也一定不差。

能否做好SEO，决定了网上获客的流量，也从一定程度上决定了公司的网上业务能够走多远。