来势汹汹的超级台风“山竹”终于走了，虽然不少地方遭到了破坏，但我们网站的优化工作还是要赶快回归到正常的，下面就教大家利用光年日志分析系统工具进行网站优化的办法。
一、光年日志分析系统是什么？
光年日志分析系统2.0是一款网站日志分析软件，创建者是SEO元老级人物张国平可分析iis和apache等日志，是做站及优化必备工具。
1，它是一个专门为SEO设计的日志分析软件。
以前的很多日志分析软件，都是顺带分析一下SEO方面的数据，而这个软件里面分析的每一个指标都是为SEO设计的。而且很多的分析维度，都是其他日志分析软件没有的。这能让你看到很多非常有用、但是以前获取不了的数据。
2，它能分析无限大的日志，而且速度很快。
很多的日志分析软件，在日志大于2G以后，都会越来越慢或者程序无响应。而这个软件能分析无限大的日志，并且每小时能分析完40G的日志。这对于那种需要分析几个月内的日志、以及要分析几十G的大型网站的日志都非常有帮助。
二、如何使用光年日志分析系统进行Ecms网站日志的分析？
第一步，先用FTP下载要分析的目标网站的日志文件，目录在服务器的logs文件夹下（如图所示）。
第二步，打开光年日志分析工具软件，选择“文件”——“新建任务”，在窗口的下拉菜单中选中“Apache”选项（Apache表示linux系统的意思，如果是Iis就表示windows系统），并点击下一步。
第三步，在弹出窗口中，选中打开已经下载好的网站日志文件，并点击确认马上开始日志的分析。
第四步，查看网站日志的分析报告页面（光年系统分析完成后自动跳转到报告页面）。点击分析报告页面的左侧栏目就可以看到常规分析的网络蜘蛛访问网站的情况（如下图所示）。
第五步，重点查看百度蜘蛛（Baidu Spider）抓取目录及抓取页面的情况。因为我们做优化主要是针对百度搜索引擎的，所以我们重点分析百度蜘蛛抓取我们网站的目录及抓取的页面的情况就行了。
第六步，结果分析。从百度蜘蛛访问的目录情况来看，它进入“template”目录和“img”目录等是无意义的，因为在这些目录里它抓取到的是一些图片文件和样式文件（如下图所示），这些文件百度蜘蛛是无法识别它是什么东西的，对网站优化没有任何意义，所以蜘蛛在这些地方爬行，乱抓取只会浪费权重。那么如何限制百度蜘蛛的爬行路径，避免它乱跑呢?
三、网站优化过程中，如何限制百度蜘蛛在Ecms网站中的爬行路径？
从光年日志分析系统的分析结果看，让百度蜘蛛在网站中乱跑肯定是不行的，那么要怎样才能避免蜘蛛乱跑呢？方法如下：
第一步，利用FTP从网站的服务器下” wwwroot”目录中下载robots.txt文件（如果里面没有这个文件，我们就要自己动手写一个啦），这robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
第二步，打开robots.txt文件，并对照百度蜘蛛目录抓取分析报告，把要限制的目录写入robots.txt文件中，比如要限制不让蜘蛛访问template文件，我们就可以加上限制规则：Disallow: /template/（其中Disallow就表示不允许抓取的意思）。
第三步，保存robots.txt文件，并利用FTP重新上传到网站服务器中，覆盖原来的robots.txt文件就可以啦。
当然，利用光年日志分析系统查到的分析结果，还可以知道哪些页面在当天被蜘蛛抓取过来，我们就可以针对那些页面再进行重点优化，比如标题优化、内链接设置等，这样优化的针对性就更加强啦。
