日志是SEOer每天需要分析的基本技能，通过每日的日志分析从而了解蜘蛛动态，从而有效分辨蜘蛛爬行的页面有效性，通过日常分析蜘蛛返回状态吗，从而发现网站中是否存在错误，从而具有蜘蛛无法爬行到的页面，排除服务器错误、页面错误、噪音页面(重复页面，低质量页面，空内容页面，404页面，不排名页面等)此类页面，SEO从而针对其进行优化!

　　一、苦逼的SEOer分析日志能使网站利于蜘蛛抓取
 

　　1、通过网站日志状态码，爬虫的行踪是可查性的，SEO需要减少噪音页面的产生：“重复页面、空内容页、404页面、不排名页面”此些类型页面抓取频率，从而提高蜘蛛对网站的喜好;

　　2、查除网站中不利于优化的错误页面，其中包括死链页面、500服务器错误等;

　　3、通过日常查看页面重要内容是否被蜘蛛爬行完整并且快速爬行;

　　4、分析正确有效的蜘蛛爬虫从而对网站的内容优化进行调整;
 

　　二、网站日志在蜘蛛爬行中HTTP状态码解读
 

　　1、200代码，表示蜘蛛爬取正常;

　　2、301代码，永久重定向;

　　3、302代码，表示临时重定向;

　　4、304代码，客户端已经执行了GET，但文件未变化;

　　5、404代码，访问的这个链接是错误链接;

　　6、500代码，表示网站内部程序或服务器有错;

　　网站日志的含义就是从各个代码数据中来找到合理化的意义，总之每个记录的数据都是一天发生在网站的一些行为，当我们看到网站日志的时候，以审核的歹毒进行站内代码的分析，从而能有效解决网站中所存在的不利于优化的因素;

　　三、解读网站日志中蜘蛛代码动态的内容
 

　　网站日志中可以解读出两种部分的内容：

　　1、网站日志蜘蛛抓取动态

　　网站日志文件中，蜘蛛抓取页面404页面以及低质量重复内容是为(噪音行为);

　　备注：可以通过nslookup ip 识别蜘蛛的真假

　　/date-2016-01.html(低质量重负页面)

　　/author-1.html(低质量重负页面)

　　/downloads/(低质量页面)

　　/contact.html(死链接接)，但这里有个问题，这个页面返回的状态码为200而不是404，但页面却跳转到404页面，从中可以发现服务器设置一定有问题;

　　网站日志对于SEO是必要的参考，从中找到的链接，以及文件;SEO需要进行修改并且优化，其中大部分的链接与文件可以进行robots中进行，写robots中需要有效的进行规范，，使用robots让蜘蛛将更多的精力放到我们网站的优质内容中;

　　2、通过网站日志从而针对用户的访问情况

　　用户对于网站的访问情况，这个点对于网站日志分析中并不是特别重要，只做两个简单的提神，日志中主要分析用户访问网站的行为，以及用户的数据;这两点分析对于优化起到的作用并不大;

　　网站日志分析是对于优化来说重点之一，尤其是在网站上线的期间，时刻观察蜘蛛动态从而对网站进行调整，避免不利于优化的因素从而拉低整个网站在搜索引擎上面的评分，从而不利于排名的竞争;网站日志主要分析针对的是内容的优化从而更有效的使蜘蛛爬行频率越来越多;

文章作者：蔡江SEO
文章标题：网站日志分析，蜘蛛抓取动态优化~解读
本文地址：http://cq.chengduseo.cn/jishu/256.html + 复制链接