如何进行网站日志分析？

一般我们分析日志有2个目的，一是网站突然不正常了，找出问题所在，二是提高网站收录，既然涉及的两点都非常重要，那么如何进行网站日志分析呢?

首先昆明网站制作来说说日志分析的工具：我们可以用光年日志分析+ shell+Web Log Explorer 这个来做日志分析!

所谓的光年日志分析是张国平弄的免费工具，大家自己去下载也可以。好像2.0版本后就没更新过了。很多人知道这个工具是分析日志的，但是不知道日志是啥的也有很多，所以我建议大家不要一开始做SEO就往这里面钻。

网站服务器日志里记载着你网站数据的一些详细记录。一般是以.log、.gz等 格式的文件。 所以不要和程序员猜灯谜。那接下来就说说用光年日志分析工具对网站进行日志分析吧先讲述基本设置，其次讲述网站日志实战分析!

打开工具，就看到下面这个窗口：

有些东西要设置一下。比如蜘蛛程序，分门别类的蜘蛛都是不同的：

大家最关心的就是百度和google的，别的一般不是大网站都不去管他的，除非网站出来严重的问题不确定是什么问题的时候，才会去看其他蜘蛛的!

我们在看看他的性能设置主要是改一下这个时间。这个默认的是30分钟，也就是说蜘蛛30分钟不动，才算一次访问。 改成10分钟差不多了，至于为什么，这个没有标准答案，个人觉得spiders来访待10分钟这个时间就可以计算一次了。设置见图:

设置好了就要拆分日志了，有的人又要问，拆分是啥?为啥要拆分?

其实就是把日志里各个不同的蜘蛛记录分类出来。比如你只想看看百度的，那你就只要拆分百度的出来

在就是拆分用到的，如果现在就有打开光年的可以跟着点击:

然后再下一步 再找个地方保存，就不说了，上面流程是拆分了百度的蜘蛛记录，工具是中文的，应该很容易上手的。下图就是拆分成功之后的就界面!

基础操作讲解完毕了，下面就实战如何利用光年工具进行日志分析：

第一步：

步骤：新建任务名----填写你的任务名称----下一步---添加

第二步：选择要分析的文件

第三步 报告保存：

然后分析。等待结果。小网站一般日志都很小，几分钟就好了。 以前我在钢企网的时候，光一个日志就要分析1个多小时。

分析结束以后，大家就可以看到你分析出来的结果。如图：

常规报表：

概要里你能看到百度蜘蛛一共访问你网站多少次、蜘蛛在你网站里停留的总时间，总抓取量。这里要强调一点，百度蜘蛛不是有些人想象的一只两只，也不是十只二十只，是多的不得了。。。。他们累计起来的总数，那这些基础数据是用来干嘛的呢?很多人就问。因为自己没有经验，没有对比，所以确实不知道用来干嘛，别急。慢慢的就懂了。从这些数据中，你就可以得到每一只蜘蛛在你网站平均停留多久。 也可以知道每个页面平均花了多少时间。

在就是数据统计了，这节课不详细说了。

大家看这里有个页面抓取，点进去也能看出一些端倪

图可以看到，第一个页面被蜘蛛抓了93。第二个页面被抓了16次大家可以看出，百度发出的所有蜘蛛，是没商量好的，他们经常干重复的事情，也就是A蜘蛛抓了的页面，B蜘蛛继续抓，C可能还抓。。。。。

从这个页面，能算出你网站这一天被百度蜘蛛唯一抓取的页面。也就是去重。下面还有一个工具只显示除200状态码之外的状态码：

比如301、404。

404是要注意的，尤其是那种被重复抓取的404页面。

如果一个网站404页面太多，蜘蛛的时间也浪费很多在那上面，对你网站百害而无一利。最好的办法是把404统计出来，删掉入口，入口的在站内的，直接删，入口在别人网站上的，你自己看着办。

通过刚才的唯一抓取量和现在的404页面，就能得出你这个网站一天被抓取的有效页面数是多少。

总结：分析日志是长期性的工作，只有把不同阶段的数据拿来对比才能分析出一点头绪，看个一天两天是没用的。