当前位置:主页 > 网络营销讲堂 > SEO技术 >

网站robots.txt书写规范

adfadf
  

首先,文件名必须是robots.txt小写的,位于站点根目录例如web文件夹之类,访问路径为 http://www.domain.com/robots.txt
其次,文本为ASCII编码(国外的推荐是文本编辑器在UNIX模式下),robots.txt内容如下,且:冒号后不能有空格:

【情况一】以#号开头的视为注释,
且注释写入时应当单独成行.且不能在行尾加注.
一般请不要添加注释.[例如]
# Robots.txt file from http://www.domain.com

【情况二】允许所有搜索搜索引擎访问
User-agent:*
Disallow:

或建一个空文件的robots.txt即可.

【情况三】禁止所有搜索引擎访问网站的任何部分
User-agent:*
Disallow:/

【情况四】禁止所有搜索引擎访问网站的某文件夹或某文件,
写入时需要单独成行.且目录文件或文件夹的大小写必须与实际一致.
除了特殊的文件外,一般指定文件夹名称即可,不必全盘列出.
[例如]
User-agent:*
Disallow:12345.html
Disallow:/001/
Disallow:/Photo/
Disallow:/cgi-bin/images/
在此要注意反斜杠/ 有无的区别:
Disallow:/help
不允许抓取help.html 和/help/index.html

Disallow:/help/
允许抓取help.html 而不允许抓取/help/index.html

【情况五】禁止某个搜索引擎访问
[例如]禁止SearchBot搜索引擎
User-agent:SearchBot
Disallow:/

【情况六】只允许某个搜索引擎访问
[例如]允许SearchBot搜索引擎
User-agent:SearchBot
Disallow:

User-agent:*
Disallow:/

【其他情况】
<meta name=”robots” content=”index,follow”>可以写成<meta name=”robots” content=”all”>
<meta name=”robots” content=”noindex,follow”>
<meta name=”robots” content=”index,nofollow”>
<meta name=”robots” content=”noindex,nofollow”>可以写成<meta name=”robots” content=”none”>
[robots的meta标签用法]告诫搜索引擎如何抓取该页内容.
目前支持此标签的搜索引擎较少,主要由Google支持.
1.建议使用小写,用于<head></head>之间
2.当name=”robots”表示所有的搜索引擎
3.当name=”Googlebot”表示针对某个搜索引擎,例如Google搜索
4.而content具有下列属性值:
index允许搜索引擎抓取该页面;
noindex拒绝搜索引擎抓取该页面;
follow允许搜索引擎抓取该页面的链接;
nofollow拒绝搜索引擎抓取该页面的链接;
archive允许搜索引擎抓取该页网页快照;(目前,暂时的,仅Google支持此语法)
noarchive拒绝搜索引擎抓取该页网页快照;(目前,暂时的,仅Google支持此语法)
[例如]
<meta name=”googlebot” content=”index,follow,noarchive”>
5.目前robots没有allow等其它指令.
6.通配符的运用(目前,暂时的,仅Google支持此语法)
[例如]
User-agent:googlebot
Disallow:*.cgi

最后,值得注意的是,并非所有搜索引擎都支持此robots.txt协议,
一些蜘蛛经常将自己伪装成客户端的浏览器.

*【参考内容】
http://www.robotstxt.org
http://www.google.com/webmasters/tools
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
http://whois.domaintools.com
*【常见蜘蛛】常见搜索引擎机器人,搜索蜘蛛
GoogleBot
Baiduspider
Yahoo!Slurp
MSNBot
OutfoxBot
Slurp Chin.a
sogou agent
sohu agent
IaskSpider
伪装成Firefox或IE等…
—————————————————————————————————
写法:
Robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。一个典型的文件内容如下:

User-agent:
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

因 为一些系统中的URL是大小写敏感的,所以Robots.txt的文件名应统一为小写,即robots.txt。robots.txt应放置于网站的根目 录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。

Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用”Disallow: .gif”这样的通配符。

其他的影响搜索引擎的行为的方法包括使用robots元数据:这个协议也不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面。

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt写作语法

首先,我们来看一个robots.txt范例:http://www.csswebs.org/robots.txt

访问以上具体地址,我们可以看到robots.txt的具体内容如下:

# Robots.txt file from http://www.csswebs.org
# All robots will spider the domain

User-agent: *
Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.csswebs.org站点下的所有文件。

具体语法分析:其中#后面文字为说明信息;User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。

下面,我将列举一些robots.txt的具体用法:

允许所有的robot访问

User-agent: *
Disallow:

或者也可以建一个空文件 “/robots.txt” file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot)

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler)

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

另外,我觉得有必要进行拓展说明,对robots meta进行一些介绍:

Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META标签的写法:

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

其中

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”ALL”>;

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”NONE”>

目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以 限制GOOGLE是否保留网页快照。例如:
<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>

------分隔线----------------------------点击:
业务范围 成功案例 技术产品 关于我们 联系我们

达闻博客RSS  达闻新浪微博  达闻腾讯微博  达闻微信账号,扫一扫

上海市黄陂南路700号D座303室
电话:400 669 8281
Email:marketing@darwinmarketing.com
  征信网  上海网警网络110

Copyright© 2014 Darwin Marketing Ltd. All Rights Reserved.