08 02月

网站的robots.txt文本对优化有哪些作用?

当前位置: 重庆SEO > 站内优化 > 网站的robots.txt文本对优化有哪些作用?
分类: 站内优化 作者:蔡江SEO 围观

  很多站长在做百度推广的时候,都会给网站做robots协议,robots协议是什么?简单的说就是一个txt文本,那么这个txt文本有什么用处呢?
 
添加robots协议有助于蜘蛛抓取
 
  什么是robots协议?
 
  robots是网站和蜘蛛之间的一个协议。用来防止一些不想被蜘蛛索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录
 
  robots协议怎么写?
 
  robots的常用的命令一般有:
 
  User-agent:*(这里的*代表的所有的搜索引擎种类,这句话表示可以让所有的蜘蛛都可以访问抓取这个网站。)
 
  Disallow:(这个表示禁止的意思,一些不想让蜘蛛访问的页面可以把路径写下来。)
 
  Allow:(这个表示允许的意思,想要蜘蛛访问页面可以把路径写下来。)
 
  robots协议的作用
 
  通过我们上面的内容,我们对robots也有了了解。当蜘蛛抓取网站时,会优先抓取网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?
 
  1、如果没有robots,百度爬虫访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也不好。
 
  2、没有robots,百度爬虫默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。
 
网站的robots.txt文本对优化有哪些作用?
 
  添加robots协议有助于蜘蛛抓取,小编建议大家还是加上robots协议这样能够促进蜘蛛抓取页面,想要了解更多欢迎持续关注我们的官网。
 

文章作者:蔡江SEO
文章标题:网站的robots.txt文本对优化有哪些作用?
本文地址:http://cq.chengduseo.cn/zhannei/1112.html + 复制链接

相关文章:

Comments

精彩评论

返回顶部