robots.txt使用技巧
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。
每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。
比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在 robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。 Read more
robots.txt的语法格式
“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR，CR/NL, or NL作为结束符），每一条记录的格式如下所示：
“<field>:<optionalspace><value><optionalspace>”。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行，详细情况如下：
User-agent:
在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。
如果在”robots.txt”文件中，加入”User-agent:SomeBot”和若干Disallow、Allow行，那么名为”SomeBot”只受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。
Disallow: Read more
-
文章分类
-
博百优Tag
-
文章归档
-
博主介绍
-
来自站长百科团队,站长百科论坛网站推广版资深版主,主要负责优化,运营,推广,专栏写作。
站长百科( www.zzbaike.com)是国内最大的站长类百科知识网站.
通过站长百科wiki平台，站长可以分享自己的知识，共建站长自己的知识库.