网站日志又称服务器日志，该日志是记录网站服务器的请求信息，通过这个日志是可以看到哪些蜘蛛程序抓取过网站，什么时间抓取的网站，以及抓取了网站的什么页面，是否抓取成功。

我们的网站日志放在服务器的空间里，一般都是以.log文件结尾，不同的服务器记录的时间不一样，有一周、三天、一个月等等的时限。

上图是保存日志的文件夹

网站日志文件(.log结尾)

上图是用记事本打开后，该服务器只记录三天的日志。

上文已经对网站日志的一些常识和存储的位置做了了解，下面我们用分析软件(光年日志分析工具点击下载)来分析网站日志。

概要分析可以看出哪些蜘蛛来抓取过网站抓取过几次

目录抓取

页面抓取

分析到这里的时候，要注意观察哪个目录抓取的最多，多在经常被抓取的目录里发布内容，有利于收录。

如果每天抓取的内容比较少，那么就需要加大网站内容的更新来吸引蜘蛛。

关键字分析指的是用户通过搜索什么词进入到你网站的，这个工具分析的不够精准，如果想要了解，建议去百度统计中的来源分析-搜索词中查看，这里不多做介绍。

这里的状态码我们决定不了，但我们要了解相应的状态码做好相应的对策。

1、404，如果出现404那说明是进入了错误页面，需要制作一个404页面，检查一下站内的死链接有的话需删除或修改为正确的链接。

2、304，出现304表明的是网站长期不更新，需要更新内容。

3、200，表明网站没问题，成功返回页面。

4、301，302，前者是网址做了永久重定向，后者是做了临时重定向。

5、403，服务器的文件拒绝请求访问。

6、502，如果出现502那么表明服务器内部错误，经常出现建议更换服务器(服务器不稳定)。