告诉搜索引擎机器人Robot哪些页面需要索引，哪些页面不需要索引 ltmeta name=quotRobotsquot content=quotAllNoneIndexNoindexFollowNofollowquot all文件将被检索，且页面上的链接可以被查询文件将不被检索，且页面。

robotstxt是一个纯文本文件，一般在网站下都存在一个robotstxt文件网站管理者可以在robots中对搜索引擎声明该网站中不想被访问的部分，或者指定可以收录指定的内容robots搜索引擎的机器人就会按照该文件中的内容来确定收录。

如果只是改了title和meta的话，如果跟你原来关键词相差不大，很快就会恢复，如果相差大，而且还不只改了这些，譬如网站结构，和你关键词布局，等等，说白了，他觉得有问题，把你排名撤了， 严重的说不定关进小黑屋了，自。

1 允许所有SE收录本站robotstxt为空就可以，什么都不要写2 禁止所有SE收录网站的某些目录UseragentDisallow 目录名1 Disallow 目录名2 3 禁止某个SE收录本站，例如禁止百度Useragent。

如果之前你的页面已经被百度收录了，那么你就算添加一些限制代码，短期内也无法改变百度收录的内容我们公司的员工用后台之前也是被百度收录了，技术人员把页面的返回码改成了404，过了一段时间后，百度就不收录这个页面了。

ltmeta name=quotrobotsquot content=quotnofollowquot 意思是让搜索引擎不要跟踪抓取此网页上的所有链接，包括外部和内部链接所以如无必要，不要加这个标签按照这个标签用途 此页面上所有链接不被跟踪和传递权重，但是内页收录与否。

禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引的方法为要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 ltHEAD 部分ltmeta name=quotrobotsquot content=quotnoarchivequot要允许其他搜索引擎显示快照，但仅。

要确保网站某些目录或页面不被收录，需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制1robots 文件 搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robotstxt 的纯文本文件，它的主。