例1. 禁止所有搜索引擎访问网站的任何部分 Disallow: / 例2. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider Disallow: / 例3. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider Disallow: User-agent: * Disallow: / 例4 允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt") User-agent: * Disallow: 或者 User-agent: * Allow: / 例5.要阻止 Googlebot 抓取特定文件类型(例如,.gif)的所有文件 User-agent: Googlebo tDisallow: /*.gif$ 例6. 禁止spider访问特定目录 在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ 例7.要阻止 Googlebot 抓取所有包含 ? 的网址(具体地说,这种网址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串) User-agent: Googlebot Disallow: /*?