网站抓取超时是什么原因，要怎么办？

网站抓取超时是一个发生频率比较低的问题，大多数站点都不会遇到。但如果遇到了，就一定要重视。否则，如果经常性发生抓取超时的异常，降权就很有可能发生。
 

抓取超时的原因解析

1、DNS问题，无论是蜘蛛还是用户访问网站，首先就需要域名的DNS做了正确的解析，然而解析是解析了，你能确定DNS真的稳定吗?不少站点的错误，正是因为DNS不稳定而造成的。尤其是那些又做域名注册，又搞‘域名抢注’的平台，这样的平台，更容易出现DNS解析不稳定的情况，尤其是在抢注高峰期。具体哪些品牌，这个就不点名了，如果你的域名在这些平台中，建议最好是将其转出到其他稳定的平台。

2、页面太大，有一些网站的部分页面达到了5兆的以上情况，甚至还见过极少的网站出现过一个页面有10MB大小。这样的页面，更容易出现抓取超时的问题。正常情况，并不建议网站的页面大小超过3MB，同时建议网站服务器启用GZIP压缩。

3、带宽不足，这是一个很常见的情况，不少站点出现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB，如果网站是1M接入，页面大小是256KB，如果同时2个人在打开页面，那么就需要4秒才可以下载完毕。如果带宽是2MB，页面大小是1024KB，一个人打开网站需要8秒，可如果是10个人同时打开呢?所以带宽这里，一定要做足。站长或者企业都应当观察一下站点的平均带宽，以及峰值带宽情况，如果经常出现‘带宽峰值’类型的访问，那么就一定要升级带宽了。

4、首字节时间太长，可能很多同学没有听说过这个问题，它指的是从发送请求到WEB服务器的时间+WEB服务器处理请求并生成响应花费的时间。有一些站点，首字节时间居然都可以达到5MS，这样的情况，网站还能正常吗?
 

抓取超时的解决方案

1、对于首字节时间这里，我们应当注意：避免网站与其他网站共享同一个服务器。这是因为，其他网站会占用自身网站服务器处理时间。

2、使用CDN。CDN的意义在于减少内容和访问者之间的“距离”，通过将静态内容分发到CDN，CDN的内容自动复制到各个位置，在地理上更接近用户，从而减少TTFB的时间。

3、避免网站使用虚拟主机系统、如网站在一段时间未有流量产生，系统会推迟或暂停虚拟服务器，当新访客进入时，将重新进行服务器备份处理(10s或更长时间);

4、后端优化软件性能减少服务器生成的响应到浏览器的时间，比如强化服务器端缓存等。
 

抓取超时问题总结

1、云服务器的服务商要选对，首选阿里云，其次华为云腾讯云也都很不错，尽量不要选择小型服务商，也不要使用虚拟主机。这样，抓取异常问题就会大大减少。
2、页面优化要到位，不要让页面文件过大，过大的页面会严重影响到抓取。
3、带宽要足够大，如果带宽不足，可考虑使用CDN加速。