1、robots.txt文件，放在哪里？该文件必须放在网站的根目录中，如百度的
2、robots.txt的基本格式，首先指定一个蜘蛛爬虫，然后指定允许和禁止访问的部分，如：
# 指定一个蜘蛛爬虫
User-agent: Baiduspider
# 指定Baiduspider允许访问的目录
Allow: /access/
# 指定Baiduspider禁止访问的目录
Disallow: /admin/
3、robots.txt的注释怎么写？注释的不是指令的一部分，主要作用是用于网站管理员的查看和阅读，注释以#号开始，如:
# 这一行是注释的部分
4、robots.txt文件怎么禁止蜘蛛爬虫的访问，Disallow是禁止访问的指令，如：
# 禁止所有爬虫访问网站
User-agent: *
Disallow: /
5、robots.txt文件怎么允许指定蜘蛛爬虫的可以访问，其他爬虫不可能访问，如：
# 允许百度Spider访问网站
User-agent: Baiduspider
Allow: /
# 禁止百度Spider以外的其他爬虫访问
User-agent: *
Disallow: /
