不会的目前百度蜘蛛还不能读取js里面的内容所以，建议把网站重要的内容和信息不要写在js里面。

1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示。

写robotstxt文件，用记事本做一个robotstxt 下面是内容 UseragentDisallow 以上可以直接复制，表示所有搜索引擎，禁止抓取本站任何内容 风险使用屏蔽后，就算删除该文件，网站也会长时间不收录，至少半年 做完robots。

下面向站长介绍一些常见的抓取异常原因1，服务器连接异常 服务器连接异常会有两种情况一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况一种是Baiduspider一直无法连接上您网站的服务器造成服务。

你好，楼主蜘蛛可以抓取到网站页面，但是无法抓取到内容，有一下几点原因1网站内容基本都是图片，或者是文字内容在图片里 2网站使用了frame和iframe框架结构，通过iframe显示的内容可能会被百度丢弃 3Flash图片。

你这种情况确实是个问题，但我不太清楚你说的日志看到的情况是大部分情况还是所有，即然你从网站日志说起，我给你如下建议供参考1检查自从网站上线到现在的所有网站日志，查看是否有百度蜘蛛访问过其它页面的记录2。