• SEO是一个到底多么牛叉的行业?SEO是一个到底多么牛叉的行业?
  • 郑州SEO郑州seo
  • 郑州SEO你只看到了别人的成功,却看不到别人默默的
  • 郑州SEOSEO切莫浪费时间在不必要的问题上
  • 1
  • 2
  • 3
  • 4

你必须要了解,什么是robots.txt以及编写语法

时间:2012-7-15 作者:问候seo

我们知道,搜寻引擎都有自己的「蜘蛛机器人」(ROBOTS),并通过这些ROBOTS在网络上沿著网页上的连结 (一般是http和src连结 )不断抓取资料建立自己的数据库。 对於网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。為了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,郑州seo,另一个是The Robots META标籤。

robots.txt

1、什麼是robots.txt?

robots.txt是一个纯文本文件,通过在这个文件中声明该网站中不想被robots访问的部分,这样,该网站的部分或全部内容就可以不被搜寻引擎收录了,或者指定搜寻引擎只收录指定的内容。

当一个搜寻机器人访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果找到,搜寻机器人就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那麼搜寻机器人就沿著连结抓取。

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写

 

2、robots.txt的语法

robots.txt文件包含一条或更多的记录关键字,这些记录通过空行分开(以CR,CR/NL, or NL作為结束符)
在该文件中可以使用#进行註解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:

User-agent:

该项的值用於描述搜寻引擎robot的名字,在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设為*,则该协议对任何机器人均有效,在”robots.txt”文件中, 「User-agent:*”这样的记录只能有一条。

Disallow :

该项的值用於描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow 开头的URL均不会被robot访问到。例如”Disallow: /help”对/help.html 和/help/index.html都不允许搜寻引擎访问,而”Disallow: /help/”则允许robot访问/help.html,而不能访问/help/index.html。

任何一条Disallow记录為空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条Disallow记录。如果 robots.txt是一个空文件,则对於所有的搜寻引擎robot,该网站都是开放的。

下面是一些robots.txt基本的用法:

禁止所有搜寻引擎访问网站的任何部分:
User-agent: *
Disallow: /

 

允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 robots.txt file

l禁止所有搜寻引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

禁止某个搜寻引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /

l只允许某个搜寻引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /

 

3、常见搜寻引擎机器人Robots名字

名称 搜寻引擎

Baiduspider http://www.baidu.com

Scooter http://www.altavista.com

ia_archiver http://www.alexa.com

Googlebot http://www.google.com

FAST-WebCrawler http://www.alltheweb.com

Slurp http://www.inktomi.com

MSNBOT http://search.msn.com

 

4、robots.txt举例

下面是一些著名站点的robots.txt:

http://www.XXX.com/robots.txt

 

5、常见robots.txt错误

颠倒了顺序:
错误写成
User-agent: *
Disallow: GoogleBot

正确的应该是:
User-agent: GoogleBot
Disallow: *

把多个禁止命令放在一行中:
例如,错误地写成
Disallow: /css/ /cgi-bin/ /images/

正确的应该是
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

行前有大量空格
例如写成
Disallow: /cgi-bin/
儘管在标準没有谈到这个,但是这种方式很容易出问题。

404重定向到另外一个页面:
当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什麼问题,但是最好能放一个空白的robots.txt文件在站点根目录下。

採用大写。例如
USER-AGENT: EXCITE
DISALLOW:
虽然标準是没有大小写的,但是目录和文件名应该小写:
user-agent:GoogleBot
disallow:

l语法中只有Disallow,没有Allow!
错误的写法是:
User-agent: Baiduspider
Disallow: /john/
allow: /jane/

l忘记了斜杠/
错误的写做:
User-agent: Baiduspider
Disallow: css

正确的应该是
User-agent: Baiduspider
Disallow: /css/

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:1448228637@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。