robots.txt的写法

作者: 呼兰河 分类: SEO基础知识 发布时间: 2015-08-17 20:52 ė1189 views 6没有评论

robots.txt                 robots.txt的写法

作者:萧红SEO博客

   要知道robots.txt的写法先要了解robots.txt是什么?robots.txt是一种网站与搜索引擎的协议,而不是命令。

robots.txt协议是告诉搜索引擎网站的哪些页面可以收录,哪些页面不能被收录。搜索引擎访问网站第一个要去的地方便是网站根目录下面的robots.txt文件。查看搜索引擎访问的范围是哪些,再决定搜索引擎要访问的内容。

  robots.txt有三种命令,二个通配符。

   三种命令分别是:

   User-agent这个是定义用户代理或者是定义抓取程序。就是说你要定义哪个程序。是百度还是谷歌程序。

   Disallow这个是禁止的意思。

  Allow是允许的意思。

  通配符是*与$。

*是代表0-9的数字,$是定义a-z的字母。

  比如允许所有的搜索引擎来抓取网站内容。

  User-agent: *

  Allow: /

  定义百度禁止抓取ABC目录。

  User-agent: baiduspeide:

  Disallow: /ABC/

  定义百度搜索引擎抓取ABC目录下的123.html

  User-agent: baiduspride

  Disallow: /ABC/

  Allow: /ABC/123.html

  禁止百度抓取所有.jpg图片。

  User-agent: baiduspride

  Disallow: /*.jpg$

  禁止百度抓取全带?的所有页面。

  User-agent: baiduspride

  Disallow: /*?*

 

《《《《599人还读了下面的文章

 SEO如何优化之四                          SEO如何优化之二

  * SEO如何优化之三                         SEO如何优化之五                

  * SEO如何优化之一                         SEO如何优化之六

 

 
http://xzh.i3geek.com

本文出自 萧红SEO提供免费SEO网站诊断服务,转载时请注明出处及相应链接。

本文永久链接: http://www.360seo.cc/jishu/jichu/371.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Ɣ回顶部