谈到robots.txt 可能对SEO有基本了解的人都知道，但是对究竟如何规范化地使用和书写robots.txt估计没能有几个人能全面掌握。也是凑巧刚好有人遇到了关于网站 robots写法的问题来问我，在之前我也是知道简单的书写规则。于是索性去找了很多资料，发现原来有很多的书写规则，现在也贴出来共享给大家，希望以后不要在为robots.txt上犯难了，也希望能给大家学习SEO能带来帮助。

首先,文件名必须是robots.txt小写的,位于站点根目录例如web文件夹之类，访问路径为 http://www.某某站点.com/robots.txt
其次,文本为ASCII编码(国外的推荐是文本编辑器在UNIX模式下)，robots.txt内容如下，且:冒号后不能有空格:

【情况一】以#号开头的视为注释,
且注释写入时应当单独成行.且不能在行尾加注.
一般请不要添加注释.[例如]
# Robots.txt file from http://www.某某站点.com

阅读全文…