1、可以设置只需要让你的建站者加密代码，让别人无法收集和复制你的文章如何拒绝所有蜘蛛抓取我网站的内容禁止所有搜索引擎访问网站的任何部分Useragent*Disallow以上两段代码放入robotstxt就可解决 采集其它网站的小说。

2、1如果你站点中的所有文件，都可以让蜘蛛爬取收录的话，那么语法这样写Useragent *Disallow当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件2完全禁止搜索引擎来访的Robotstxt文件写法。

3、1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示。

4、4登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理如何禁止Google搜索引擎收录抓取网站内容 1编辑robotstxt文件，设计标记为Useragent。

5、下面是一些阻止主流搜索引擎爬虫蜘蛛抓取索引收录网页的思路注全网站屏蔽，尽可能屏蔽主流搜索引擎的所有爬虫蜘蛛1被robotstxt文件阻止 可以说robotstxt文件是最重要的渠道可以和搜索引擎建立直接对话，给出。

6、在网站根目录下 设置robotstxt文件，输入以下代码UseragentDisallow admin Useragent MSNbot Disallow。

7、1robots 文件 搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robotstxt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容useragent* 适用于所有蜘蛛 Disallowupload Disallow。

8、下面的代码将禁止蜘蛛抓取以 html 为后缀的URL UseragentDisallow html 通配符告诉蜘蛛匹配任意一段字符，是任意一段字符，我想像你那两种设置应该都可以例如，下面一段代码将禁止蜘蛛抓取所有html文件Useragent。

9、用js加密内容防止了抓取，但是这样就会导致所有的蜘蛛机器人抓取内容都是加密，对搜索引擎优化不好全站Flash同上全站Ajax同上 这些方法只能组织正规蜘蛛的访问，不能达到阻止非人类行为抓取数据，允许指定的搜索。

10、这个从某个程度上说是一个小黑帽手法了2如果你是不想让蜘蛛抓取某些页面的话，可以通过robotstxt来控制，这个是一个搜索引擎协议，告诉搜索引擎不要抓取网站的这些内容，写好robotstxt文件，放到网站根目录下即可，具体。

11、Robotstxt 是存放在站点根目录下的一个纯文本文件虽然它的设置很简单，但是作用却很强大它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容使用方法Robotstxt 文件应该放在网站。

12、比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重以下列举了屏蔽。

13、二在模版的headerphp的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从headerlt顶部开始抓取所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返。

14、二上传robots文件的方式 1先在本地创建一个robots文件robotstxt 2然后在robots文件里面写入静止搜索引擎抓取的代码 3写入完成后，然后通过FTP文件上传工具将robotstxt文件上传到网站的根目录中 三利用服务器中的“。

15、允许所有搜索引擎蜘蛛抓取以某个扩展名为后缀的网页地址，代码如下UseragentAllow htm$ 说明其中“htm”，表示充许搜索引擎蜘蛛抓取所有”htm”为后缀的文件，注意，这里并不包括以”html”为后缀的文件例2设。

16、如果你确实不想让百度蜘蛛抓取js和css，可以通过robotstxt进行屏蔽新建一个robotstxt放在网站根目录，内容为 如果禁止所有搜索引擎抓取js和css文件，将下面的Useragent baiduspider改为Useragent *Useragent。