SEO新手必看基础：[13]robots.txt文件应用

1、　在“百度搜索帮助中心”中，

　　对如何禁止百度蜘蛛访问是这样定义的 ：

User-agent: Baiduspider

Disallow: /

　　仅允许百度蜘蛛的访问：

User-agent: Baiduspider

Disallow:

　　禁止百度蜘蛛访问特定目录：

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

2、下面我们以举例子的方法逐步介绍，例1

3、例2

4、例3

5、例4

6、例5

7、例6

8、例7

9、例8

10、例9

11、例10

12、例11

13、例12

14、新旧页面的处理方法：

新旧页面的处理即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。