-
四月13日
- 正文
- 点这评论:( 人参与)
-
Robots是以txt文件的形式存在,其作用就是告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。如果页面有大量的垃圾页面,为了不影响搜索引擎对网站的印象及收录,可以通过robots.txt文件设置这些页面不被抓取。
1)什么是Robots.txt?
Robots.txt是一个文本文件,关键是这个文件所在的位置:在网站的根目录下。弄错了,就不起作用了!
2)Robots.txt如何起作用?
搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。
3)怎么写Robots.txt文件?
遵循语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,现简单举例如下:
1)禁止所有搜索引擎访问网站的任何部分(也就是网站彻底的拒绝所有搜索引擎收录)
User-agent: *
Disallow: /
2)允许所有的robot访问(也就是网站允许所有搜索引擎收录)
User-agent: *
Disallow:
3)禁止某个搜索引擎的访问(比如禁止百度收录,按如下的方式写)
User-agent: baiduspider
Disallow: /
4)允许某个搜索引擎的访问(比如允许百度收录,按如下的方式写)
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
5)禁止搜索引擎访问某些目录
User-agent: *
Disallow: /zb_System/
Disallow: /tmp/
Disallow: /images/
使用方法:很简单,将代码存为一个文本文件,命名为Robots.txt ,放在网页根目录即可。
看了上面的内容就能明白robots.txt是告诉搜索引擎该收录哪些页面,所以我们就要知道zblogASP哪些文件夹可以给蜘蛛爬哪些不能给蜘蛛爬。请参考《zblogASP各个文件的作用》。
标签:seo
除非注明,文章均为谢伊丽博客原创,转载请注明本文地址:http://www.xieyili.com/view/13.html
