WP博客网站的robots.txt怎么写?

作者: 呼兰河 分类: SEO基础知识 发布时间: 2015-11-18 11:10 ė127 views 6没有评论

robots.txt

作者:萧红SEO博客

网站的robots.txt就是网站与搜索引擎达成的一项抓取的协议。就是告诉搜索引擎网站上的哪些页面可以抓取,哪些页面不能抓取,从而让网站上的一些不要抓取的页面不会分摊网站的权重,让网站的权重能更加集中在参与排名的页面上来,让网站上真正要页参与排名的页面获得更多的权重,从而提升网站有效页面的排名。

比如WP博客网站上的登录页面文件夹就不能让搜索引擎抓取,因为这个文件夹里面的内容记载了登录密码及一些私密的信息,这些信息是不能公开的,所以也就不能让搜索引擎抓取了。robots.txt协议

上面这个红框里面的就是登录文件夹,就是要屏蔽的文件夹。

还有一个页面就是搜索页面不能被搜索引擎抓取,因为这个搜索页面的页面质量低,没有收录的价值,这个页面也要屏蔽掉去。

本博客的robots.txt文件是:

User-agent: *
Disallow: /wp-login.php/   这个是登录页面要屏蔽
Disallow: /wp-includes/    这个是空页面要屏蔽
Disallow: /?s=             这个是搜索页面也要屏蔽
sitemap: http://www.360seo.cc/sitemap_baidu.xml   这个是网站地图不能屏蔽
sitemap: http://www.360seo.cc/sitemap.html        这个也是网站地图也不能屏蔽

robots.txt

WP博客的robots.txt的写法比较简单,其它程序网站的robots.txt的写法复杂些。

以上是WP博客的obots.txt的中需要屏蔽的页面。

更多SEO知识在群公告里面,想获取点击加群赣州SEO知识分享群或者是加QQ号点击这里给我发消息联系。

《《《《599人还读了下面的文章

  * SEO如何优化之四                          SEO如何优化之二

                * SEO如何优化之三                         SEO如何优化之五                

  * SEO如何优化之一                         SEO如何优化之六

    作者简介: 萧红SEO博客作者真名叫秦自红,51岁,从小爱好写作,曾经在《赣州晚报》、《赣南日报》发表过诗歌及纪实文章。写有一本诗集。也因为写作发表文章致使本人遭遇嫉妒我的同事的集体诽谤迫害而毁了名誉。本人不甘被小人踩在脚下,奋力挣扎着从诽谤的铁蹄下挣出来不断的写作,后来为了生存又爱上了电子商务,做了十年的阿里巴巴店铺。学习了五年的独立网站建设及SEO优化

本文出自 萧红SEO提供免费SEO网站诊断服务,转载时请注明出处及相应链接。

本文永久链接: http://www.360seo.cc/jishu/jichu/1058.html

Ɣ回顶部