下载鸥 > 网站下载 > 网站运营 > 网站优化

网站抓取超时是什么原因,要怎么办?

386 2021-04-12 18:43:41

收藏

简述

云服务器服务商要选对 ,页面要做优化,带宽要够用,这样才能尽量避免抓取超时问题。
网站抓取超时是一个发生频率比较低的问题,大多数站点都不会遇到。但如果遇到了,就一定要重视。否则,如果经常性发生抓取超时的异常,降权就很有可能发生。
 

抓取超时的原因解析

1、DNS问题,无论是蜘蛛还是用户访问网站,首先就需要域名的DNS做了正确的解析,然而解析是解析了,你能确定DNS真的稳定吗?不少站点的错误,正是因为DNS不稳定而造成的。尤其是那些又做域名注册,又搞‘域名抢注’的平台,这样的平台,更容易出现DNS解析不稳定的情况,尤其是在抢注高峰期。具体哪些品牌,这个就不点名了,如果你的域名在这些平台中,建议最好是将其转出到其他稳定的平台。

2、页面太大,有一些网站的部分页面达到了5兆的以上情况,甚至还见过极少的网站出现过一个页面有10MB大小。这样的页面,更容易出现抓取超时的问题。正常情况,并不建议网站的页面大小超过3MB,同时建议网站服务器启用GZIP压缩。

3、带宽不足,这是一个很常见的情况,不少站点出现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB,如果网站是1M接入,页面大小是256KB,如果同时2个人在打开页面,那么就需要4秒才可以下载完毕。如果带宽是2MB,页面大小是1024KB,一个人打开网站需要8秒,可如果是10个人同时打开呢?所以带宽这里,一定要做足。站长或者企业都应当观察一下站点的平均带宽,以及峰值带宽情况,如果经常出现‘带宽峰值’类型的访问,那么就一定要升级带宽了。

4、首字节时间太长,可能很多同学没有听说过这个问题,它指的是从发送请求到WEB服务器的时间+WEB服务器处理请求并生成响应花费的时间。有一些站点,首字节时间居然都可以达到5MS,这样的情况,网站还能正常吗?
 

抓取超时的解决方案

1、对于首字节时间这里,我们应当注意:避免网站与其他网站共享同一个服务器。这是因为,其他网站会占用自身网站服务器处理时间。

2、使用CDN。CDN的意义在于减少内容和访问者之间的“距离”,通过将静态内容分发到CDN,CDN的内容自动复制到各个位置,在地理上更接近用户,从而减少TTFB的时间。

3、避免网站使用虚拟主机系统、如网站在一段时间未有流量产生,系统会推迟或暂停虚拟服务器,当新访客进入时,将重新进行服务器备份处理(10s或更长时间);

4、后端优化软件性能减少服务器生成的响应到浏览器的时间,比如强化服务器端缓存等。
 

抓取超时问题总结

1、云服务器的服务商要选对,首选阿里云,其次华为云腾讯云也都很不错,尽量不要选择小型服务商,也不要使用虚拟主机。这样,抓取异常问题就会大大减少。
2、页面优化要到位,不要让页面文件过大,过大的页面会严重影响到抓取。
3、带宽要足够大,如果带宽不足,可考虑使用CDN加速。

本文地址:https://xzo.com.cn/operation/seo/107.html

有帮助,很赞!

信息来源:下载鸥
导出教程 下载word版教程
发表评论 共有条评论
关于网站优化


SEO(Search Engine Optimization)就是我们常说的网站优化、搜索引擎优化。是一种利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名的方式,目的是让公司网站在互联网上占据领先地位,获得品牌收益。

SEO不是采集,不是拼凑,也不是数据的堆积,其核心的思路其实还是在于更好的用户体验。当你的网站用户体验极佳时,也一定是SEO极好的。反过来说SEO做得很好的站点,用户体验也一定不差。

能否做好SEO,决定了网上获客的流量,也从一定程度上决定了公司的网上业务能够走多远。

推荐网站优化网站运营
百度网站收录和快照更新慢怎么办?
百度网站收录和快照更新慢怎么办?

网站被搜索引擎收录后才有机会参与关键词排名,如果不收录,或者收录很慢,那可能...

1 462
交换/留下高质量外链的三个方向
交换/留下高质量外链的三个方向

企业官网美观大方是一方面,做好网站的优化也是另一个重要的方向。外链作为网...

0 471
养站是什么意思?怎样养出一个当天收录的好网站?
养站是什么意思?怎样养出一个当天收录的好网站?

只要接触seo长一点的人,基本都听说过养站的说法,但却未必都会养。养好一个网...

1 389
不同的百度蜘蛛ip段分别有什么含义?
不同的百度蜘蛛ip段分别有什么含义?

许多站长对于百度蜘蛛特别留意,尤其是新站上线阶段,整天盯着蜘蛛看。却只能看...

0 392
网站日志里的Baiduspider-render/2.0是什么蜘蛛?
网站日志里的Baiduspider-render/2.0是什么蜘蛛?

许多站长在查看网站日志时会发现,百度不仅有百度蜘蛛baiduspider,还出现了一...

0 2028
petalbot是华为蜘蛛,广大站长切莫误伤友军
petalbot是华为蜘蛛,广大站长切莫误伤友军

petalbot是一个名不见经传的蜘蛛,很多人会以为这是垃圾蜘蛛。只是鸥哥刚刚发...

1 464
10个1000指数的短尾词和1000个10指数的长尾词哪个流量更高?
10个1000指数的短尾词和1000个10指数的长尾词哪个流量更高?

百度指数是我们日常优化参考的一个重要指标,指数越高往往代表着流量越高。许...

0 769
百度蜘蛛活跃时间段分析与定时审核
百度蜘蛛活跃时间段分析与定时审核

很多网站都做了定时发布的功能,通过定时发布的方式,培养蜘蛛抓取习惯达到日收...

3 542
推荐插件
帝国cms百度AI黑白图像上色api接口对接插件
帝国cms百度AI黑白图像上色api接口对接插件

百度开放了系列AI功能api如图像上色、图像去雾、图像修复、无损放大、清晰...

0 390
帝国CMS内网用户静态站点文章访客统计插件
帝国CMS内网用户静态站点文章访客统计插件

本插件适用于内网用户,可查看单篇文章访问者ip地址。如果添加访问者ip组,可查...

0 524
帝国cms网站会员登录与退出历史记录日志插件
帝国cms网站会员登录与退出历史记录日志插件

帝国cms默认只有上次登录时间与ip,没有一个记录清单,所以今天,我们分享这个帝...

0 375
帝国cms百度AI图像无损放大api接口对接插件
帝国cms百度AI图像无损放大api接口对接插件

通过本插件,可以实现帝国cms网站对接百度云api实现图像无损放大的功能。经过...

0 414
帝国cms访问统计ip地址链接与封禁插件下载
帝国cms访问统计ip地址链接与封禁插件下载

下载鸥开发了这款帝国cms封禁ip插件,自动记录访问情况,让我们可以更快的识别...

0 970
帝国cms多栏目多数据表自动审核推送插件
帝国cms多栏目多数据表自动审核推送插件

本插件基于帝国cms帝国cms每日自动审核插件,在自动审核指定条数信息的基础上...

0 882
帝国cms智能自动审核按星期几审核指定栏目带推送插件
帝国cms智能自动审核按星期几审核指定栏目带推送插件

采集站的必备资源是自动审核,要做到日收录也离不开定时发布。而本插件的自动...

0 1232
帝国cms百度文字识别ocr接口对接插件
帝国cms百度文字识别ocr接口对接插件

许多网站会做一些小功能小插件给客户使用以增强用户黏性,比如图片转文字,这种...

0 438
客服QQ:341553759
扫码咨询 常见问题 >
官方交流群:90432500
点击加入