Robots.txt 的使用方法

例1. 禁止所有搜索引擎访问网站的任何部分

Disallow: /

例2. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /

例3. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

例4 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”)
User-agent: *
Disallow:
或者
User-agent: *
Allow: /

例5.要阻止 Googlebot 抓取特定文件类型(例如,.gif)的所有文件
User-agent: Googlebo
tDisallow: /*.gif$

例6. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

例7.要阻止 Googlebot 抓取所有包含 ? 的网址(具体地说,这种网址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串)
User-agent: Googlebot
Disallow: /*?

This entry was posted in SEO Consultant Hong Kong, SEO 技術教學. Bookmark the permalink.