分析网站日志需要如何入手，要掌握何种技术？

对于网站运营而言，熟练掌握网站日志的分析是一门必会的技术。那么，如果要做网站日志分析，除了使用在线日志分析工具外，还有别的方法吗？


如果要自己开发网站日志分析工具，需要掌握何种技术呢？

分析网站日志的技术可分为两种：

其一为写入数据库并进行分析，
其二为直接分析。
 

一、写入数据库的分析

1、需要掌握php/python/java等主流语言的任意一种，学会基础的增删查改。建议是php或python，入门较为简单
2、需要掌握MySQL的基本用法
 

二、本地化日志分析不入库

掌握php或python基础语法，在这个基础上掌握正则、循环的用法。
 

写入数据库的日志分析和直接分析在功能上有所不同：

1、写入数据库的分析在操作上、数据处理上会更为便利，通过增删查改可实现调取需要的全部数据，但涉及到的工作量、操作难度都更大。
2、直接本地化分析操作更为简单、涉及的知识点、工作量都更小，但可处理的数据量更为有限。
 

---

 

附：常见的网站蜘蛛类型及网站日志的分析方法

分析网站日志对于网站体验的优化、蜘蛛的友好度有着重要的意义，而网站日志分析应当主要包括以下维度。

一、网站日志的基本分析方向

1、蜘蛛日志
网站日志分析必不可少的环节就是分析蜘蛛日志，其蜘蛛类型应当囊括当前主流的蜘蛛分类、异常蜘蛛类型、蜘蛛总数。


A、有用的蜘蛛
如百度蜘蛛baiduspider、google蜘蛛googlebot、360蜘蛛360spider、神马蜘蛛yisospider、必应蜘蛛bingbot、头条蜘蛛Bytespider。这些都是有用的蜘蛛。

B、无用的蜘蛛
除却以上提及有用的蜘蛛意外，还应当统计无用蜘蛛类型，并根据其访问频次决定是否应当封禁。
如SemrushBot、AhrefsBot、blexbot、petalbot、mj12bot，包括但不局限于这里列出的蜘蛛分类。

C、其他
所谓其他蜘蛛，指的是以上未列出的蜘蛛类型，应当归类为spider / bot。此类蜘蛛如果访问量巨大，也应当将其排查出来并视情况加入封禁行列。

2、404页汇总


分析网站日志一定少不了分析404错误页，并将相关数据进行汇总按倒叙排列。如上图所示，此处的404错误大多来自一些黑客，此类ip如果是国内ip段可考虑直接封禁。第六个404则是网站已经失效的接口，可提交死链。
 

二、高级的网站日志分析

高级的网站日志分析相对于基本分析而言更加具有针对性，可以有效提升网站体验、快速发现核心访问页并进行针对性的优化处理。

1、高频访问页分析
汇总高频访问页可以让我们快速发现现阶段排名好、流量高的页面，并进行针对性的优化以期获得更好的排名。

2、高频访问IP分析
高频访问IP的获取目的在于快速发现异常访问ip，如果有条件可以设置监控，发现一个，封禁一个。例如蜘蛛采集，必然是短时间内出现海量的访问，轻则数百数千，重则数万数十万，既在短时间内占用大量服务器性能与带宽，又窃取了资源。

3、高频浏览器类型统计
每个网站都是独一无二的，一个站的访客数据也不能通用于其他站点，浏览器也是如此。发现高频浏览器有助于帮助我们更快的发现潜在客户所使用的浏览器类型，并据此进行针对化处理。

以上数据，即便是基础版的日志，采用人工分析的方式也是不现实的，更何况是高级版，所以我们一定要借用工具。现阶段而言，下载鸥推出了宝塔面板专属版蜘蛛日志在线分析小工具，已经基本实现了上述的基础版、高级版诸多功能，如需了解更多功能或定制插件，可联系右侧在线客服。