我们在SEO优化的时候，需要对百度蜘蛛的爬行情况有一个清楚的了解，要了解百度蜘蛛就必须借助于网站日志，所以，网站日志对SEO来说是非常重要的，是百度蜘蛛在网站上爬起情况的痕迹，通过对这个蛛丝马迹的了解，我们可以及时的了解和发现网站本身存在的一些问题。通过网站日志文件我们可以很清楚的看到有哪些搜索引擎蜘蛛光临我们的网站，蜘蛛都爬取了哪些目录以及通过日志我们还可以发现网站表面上看不到的问题，如404等，网站默认是允许所有蜘蛛进行抓取，下面就为大家简单介绍一下如何分析网站日志：
1、各搜索引擎抓取本站的情况
每个搜索引擎都有自己的蜘蛛名称，通过网站日志可以看到哪些搜索引擎来光临自己的网站，爬取了哪些目录，以及蜘蛛过来的时间等，如百度蜘蛛是Baiduspider，我么可以Ctrl+F查找一下，查看百度是什么时间过来，抓取了哪些页面，通过查看蜘蛛爬取目录或页面的频率我们还能知道哪个目录或页面最吸引蜘蛛。
2、网站目录抓取和收录情况
一般网站的结构是树形或扁平结构，蜘蛛按照网站结构目录一层一层的抓取是合理的，如果发现某个目录爬取频率比较高，但是收录的内容少，这时候就要注意这个目录下页面(内容)的质量了，就算写不了原创，也要注意深度伪原创，千万不要大量采集。
3、页面的抓取时间
通过网站日志可以分析每个页面的抓取次数和抓取时间，从而了解蜘蛛的喜好和抓取规律，包括哪个时间点来的比较频繁，如果有新页面想要搜索引擎尽快收录，我们可以在搜索引擎蜘蛛爬取最频繁的页面上加入新页面的入口，而且最好在蜘蛛来的最频繁的那个时间点之前添加好新的内容。
4、页面状态码
http状态码，SEO常见的有301,302和404,蜘蛛每爬取页面都会返回一个状态码，如果是200代表正常，如果是301说明这个页面是跳转页面，如果是302代表临时跳转，最重要的是404错误码，如果发现某个抓取返回的是404，我们要赶快诊断一下说明原因返回404，遇到404的页面链接，百度站长工具有提交死链的工具，也去提交一下，让百度知道并处理。
