例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件
|
User-agent: *
Disallow: / |
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
|
User-agent: *
Disallow:
或者 User-agent: *
Allow: /
|
例3. 仅禁止Baiduspider访问您的网站 |
User-agent: Baiduspider
Disallow: / |
例4. 仅允许Baiduspider访问您的网站 |
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: / |
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。 |
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ |
例6. 允许访问特定目录中的部分url |
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ |
例7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 |
User-agent: *
Disallow: /cgi-bin/*.htm
|
例8. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。 |
User-agent: *
Allow: .htm$
Disallow: / |
例9. 禁止访问网站中所有的动态页面 |
User-agent: *
Disallow: /*?* |
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。 |
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$ |
例11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片 |
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$ |
例12. 仅禁止Baiduspider抓取.jpg格式图片 |
User-agent: Baiduspider
Disallow: /*.jpg$ |
相关推荐
通常做网站的目标就是让搜索引擎收录,扩大推广面,但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话,该如何操作呢?比如淘宝网就是禁止搜索引擎收录的一个例子,本文将教你几种...
Apache中禁止网络爬虫,之前设置了很多次的,但总是不起作用,原来是是写错了,不能写到Dirctory中,要写到Location中 代码如下: SetEnvIfNoCase User-Agent “spider” bad_bot BrowserMatchNoCase bingbot bad_...
SEO技术,如何禁止百度收录你的网页,指定禁止百度爬蜘蛛访问的网站目录路径.zip
搜索引擎蜘蛛算法与蜘蛛程序构架 禁止搜索引擎收录的方法 Robots Meta标签及其用法
一个基于搜索引擎的子域名挖掘 ...适合需要快速搜集不是完全完整的子域名,而搜索引擎收录较好的域名。最重要的是快速,相较于Layer法师的半小时一个域名还带一段时间死机,此工具达到20s一个域名
主要介绍了asp实现禁止搜索引擎蜘蛛访问的代码,十分的简单实用,有需要的小伙伴可以参考下。
主要介绍了Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例,限制爬虫频率用于一些无良爬虫,禁止爬虫用于一些不需要收录的网站,需要的朋友可以参考下
章鱼搜索从BT网络里收录了互联网中海量的电影,音乐,游戏,书籍等资源,允许用户对资源进行预览和试看,是史上最全的资源搜索引擎工具,没有之一。 像谷歌、百度等通用搜索引擎一样,章鱼搜索目前无法具备对盗版等...
网站在移动端的阅读不可避免的会遇到转码问题,作为国内搜索引擎老大百度,自然要做技术的领头人了,做了百度转码,有些网站经过转码之后达到了想要的结果,但是有些网站经过百度加工后就是不忍直视,很多内容出现了...
章鱼搜索从BT网络里收录了互联网中海量的电影,音乐,游戏,书籍等资源,允许用户对资源进行预览和试看,是史上最全的资源搜索引擎工具,没有之一。 像谷歌、百度等通用搜索引擎一样,章鱼搜索目前无法具备对盗版等...
一键安装 全自动安装,不需要手动配置环境,零基础使用 在线升级 发布新版本,后台一键升级 极速运算 使用redis缓存数据,全内存运算,摆脱...可屏蔽搜索引擎生成快照 屏蔽访客 可屏蔽非蜘蛛访问,减少服务器资源占用
亚马逊分类目录1.0版本程序采用35分类目录的基础上二次开发升级,在排版上做了较大...robot.txt文件做了禁止所有搜搜索引擎收录,用这套程序的朋友一定要修改一下。网站演示://www.ymxdir.com 更新主要功能: 1、用户
源码简介: ...20:将网址分类从页面式修改为目录式,更适宜搜索引擎收录 21:所有删除增加2次确认,防止误操作 22:采用新的网站审核机制 23:类别合并功能 24:重复域名禁止登陆功能 25:“实用酷站”管理
20:将网址分类从页面式修改为目录式,更适宜搜索引擎收录 21:所有删除增加2次确认,防止误操作 22:采用新的网站审核机制 23:类别合并功能 24:重复域名禁止登陆功能 25:“实用酷站”管理 安装方法: 1:...
20:将网址分类从页面式修改为目录式,更适宜搜索引擎收录 21:所有删除增加2次确认,防止误操作 22:采用新的网站审核机制 23:类别合并功能 24:重复域名禁止登陆功能 25:“实用酷站”管理 26:重新写了...
robot.txt文件做了禁止所有搜搜索引擎收录,用这套程序的朋友一定要修改一下。网站演示:http如果出现不能安装请删除\data\install.lock文件第二步//你的域名/install第三步//你的域名/system/login.php用户名admin
20:将网址分类从页面式修改为目录式,更适宜搜索引擎收录 21:所有删除增加2次确认,防止误操作 22:采用新的网站审核机制 23:类别合并功能 24:重复域名禁止登陆功能 25:“实用酷站”管理 26:重新写了模版界面...
20:将网址分类从页面式修改为目录式,更适宜搜索引擎收录 21:所有删除增加2次确认,防止误操作 22:采用新的网站审核机制 23:类别合并功能 24:重复域名禁止登陆功能 25:“实用酷站”管理 演示:...