如何让搜索引擎不要抓取DMOZ信息--陈秀英的博客

如何让搜索引擎不要抓取DMOZ信息

       在MSN中搜索的时候，经常反馈回来说明文字与实际网页的说明大相径庭，这些说明并不是来自网页的title或者meta，也与网页中的内容不相关。这使很多网站的维护人员很是沮丧，因为他们希望用户看到的内容并不像他所希望的那样展示出来，那些过时的不精确的DMOZ 描述代替网页本身的描述，长期的出现在搜索结果中。
       这样的情况并不仅仅在MSN的搜索结果中出现，只是MSN尤其明显。不少搜索引擎在搜索的过程中，都会把网站以前向DMOZ提交的说明文字抓取为网页的说明文字，而向DMOZ提交的说明文字是不能更改的，网页却在不断更新，于是在搜索结果中显示的文字就与实际有了很大区别。如阿里巴巴在domz里面的描述是：Alibaba.com - Import and export trade leads and opportunities.在MSN里面搜索到的说明信息也是：Import and export trade leads and opportunities.
      当然，如果不希望出现这样的情况，可以告诉MSN不要抓取ODP信息为网页页的描述，方法就是使用以下代码: < META NAME="ROBOTS" CONTENT="NOODP">
       好在google很少会有这样的情况，google抓取的大部分是title和meta中的内容。不过如果你要在搜索结果中显示DMOZ 描述，可以告诉Google搜索引擎蜘蛛在抓取网页时候，抓取ODP中的说明为网页的描述，则使用以下代码：
< META NAME="GOOGLEBOT" CONTENT="NOODP">
      要说明的是，不是所有的搜索引擎都会支持这个声明，因此要分别对待。

陈秀英发表于 2006/7/14 16:21:12
[ 阅读全文 | 回复(0) | 编辑 ]

分享到：

发表评论：