关于robots.txt

jason

User-agent: *
Disallow:

只禁止抓取admin目录怎么写？这样没问题吧？.

User-agent: *
Disallow: /admin

css、js、模板、/images之类的应该禁止抓取吗？

所有用户

写成这样拒绝任何机器人抓取全站（前提是机器人遵守ROBOTS协议）

1. User-agent: *
   
2. Disallow:/
   

复制代码

允许抓取但禁止抓取admin目录应写为

1. User-agent: *
   
2. Allow: /
   
3. Disallow:/admin/
   

复制代码

建议拒绝百度抓取图片和音乐类文件否则被收录会刷掉很多流量...
允许BAIDU抓取 但禁止抓图片音乐FLASH：

1. User-agent: Baiduspider
   
2. Allow: /
   
3. Disallow: *.jpg$
   
4. Disallow: *.jpeg$
   
5. Disallow: *.gif$
   
6. Disallow: *.png$
   
7. Disallow: *.bmp$
   
8. Disallow: *.mp3$
   
9. Disallow: *.wmv$
   
10. Disallow: *.flv$
    
11. Disallow: *.swf$
    

复制代码

GOOGLEBOT会抓取图片JS等文件 但不会收录进搜索引擎可以允许
但GOOGLEBOT能抓取收录PDF和SWF建议禁止

mario1984

学习下，O(∩_∩)O~