关于robots的五大作用

发表评论 0 条 条评论 发布:jiangwei 发表时间:2011-06-22 标签:
 

  Robots.txt有什么作用?或许在我们眼力对于Robots.txt在一个网站的重要性,仅限于对于网站的内容哪些需要屏蔽,哪些是允许,相当于网站给搜索引擎蜘蛛的一个前台的角色,但Robots.txt的作用仅限于此吗?如果对Robots.txt还不了的可以去看下我之前写的《Robots怎么写?》,里面介绍了一些有关Robots的基本写法和格式,我们应该提起对Robots.txt的重视,千万不要被Robots.txt阻挡我们网站的前进步伐,接下来我们总结了以下几点,要告诉所有的朋友Robots给我们的网站带来了哪些好处!

  一、有效节省服务器资源

  通常整个网站会有很多搜索引擎蜘蛛爬去,而有一些并非我们想要的,这样造成了服务器带宽的浪费,特别是图片站或者一些附件较多的网站,robots不设置好会消耗很大的服务器资源,如果我们设置好Robots.txt屏蔽不必要的蜘蛛那么将大大节省我们的服务器资源。

  二、搜索引擎爬取的指路灯

  对于许多不懂的新手,设置Robots.txt文件更为重要,因为我们的网站文件随着发展会不断变得更大,网站文件变得越来越大可能会导致打开页面的速度相对初期网站打开速度较慢,如果robots设置好的话,搜索引擎蜘蛛会很快的爬取到相应的信息,否则就会很费力,甚至蜘蛛过多会导致网站访问受到影响。

  三、网站隐私保护

  Robots可以告诉搜索引擎什么该爬取,什么不该爬取,因为我们的网站涉及到一些隐私的内容,这点就必须要在Robots上说明,让蜘蛛不能抓取这些页面信息,以保证我们网站的一些因素不被搜索引擎公开。

  四、对Sitemap产生重要作用

  通常我们会在Robots中写到 Sitemap: http://www.****.com/sitemap.xml ,这样一来也代表着我们通过Robots告诉搜索引擎跟着网站地图抓取,这样对我们的网站收录增加起到非常重要的作用。

  五、保护网站的权重不被丢失

  为什么这么说呢?因为我们在看Robots.txt和nofollow的时候2者都有一定的相似程度,就是屏蔽蜘蛛,那么我们可以让搜索引擎对于某个页面不被收录,因为我们如果有死链接,那么可以用robots直接屏蔽掉,而这样带来的好处是不影响SEO,另外一点,如果某些页面带有版权链接,或者插件中含有,并非我们希望给予的,那么也可以通过Robots直接屏蔽掉保护我们的网站权重不被丢失、

  总结:以上5点希望能给能够非常明确的让大家了解robots的重要性,并且给大家在优化的道路中能贡献一些启发,有什么疑问请直接留下你的脚印,成都SEO和你一起成长。

文章转载,原文链接

文章作者:jiangwei
本文地址:http://www.fuzhouseoer.com/robots-zuoyong/
版权所有 © 转载时必须以链接形式注明作者和原始出处!

发表评论

*

* 绝不会泄露


Protected by WP Anti Spam