前不久,google将大量网站的页面列入“补充材料”,让站长们头疼不已。我曾写了一篇文章“对google补充材料的一些新的观察”,分析了google补充材料的成因以及解决办法,但是仍有不少疑惑未能解决。
而今,似乎在一夜之间,所有补充材料消失殆尽。坊间传言,说是谷歌取消补充材料,但是是否属实,并没有官方说明。
google补充材料始于2003年,Google有两大索引数据库,一个是主索引数据库,当你在Google里搜索时,得到的常规搜索结果就是直接来自主索引数据库;当网站的某些网页链接过于复杂(比如参数过多),或者网页的PR值很低,又或者网页内容和其它网页重复等等,这些原因都可能导致Google将网页收录进补充索引数据库里。
在2006年之前,网页被标记为“补充材料”后,它就等于被Google打入冷宫了。只有当主索引数据库里实在没有相关的结果,Google才会把“补充材料”网页加进常规搜索结果里。此外,Google通常不会或隔很长时间才会重复抓取和分析这些“补充材料”网页。
“补充材料”内容被搜索到的机会很小,随着越来越多的网页被列入google“补充材料”,这样的处理方式,也损害到用户的搜索体验,因为有进候,用户想找的内容刚好就是“补充材料”里的网页。我们可能会发现,很多在百度中能找到的信息,在google中都无法找到。可能google也意识到了这一点。
于是在去年年初,Google的基层架构全面升级至Big Daddy后,Google便开始改变这种处理方式。直至去年年底,Google终于作出了一些重要的改变。Google全面改进了抓取系统,比如能处理链接里的更多参数、突破网站更多限制(比如支持JS文档抓取、增强对多媒体内容的抓取等),努力提高了对“补充材料”的抓取及更新频率、范围,使“补充材料”和常规结果之间的差距越来越小。因此用户在搜索时,可直接获得比之前更多的来自“补充材料”的网页结果。Google还透露,未来的目标是确保每次搜索都能直接查询补充索引数据库的内容,并且预计这个目标会在今年夏天达成。
由于“补充材料”和常规结果之间的差距越来越小,因此Google觉得不必要再特地将来自补充索引数据库的网页标记为“补充材料”,于是它决定停止了这一做法。换言之,“补充材料”将成为历史。这意味着以后我们在Google上面进行搜索,将得到更准确及更全面的搜索结果,因为Google的两大索引数据库正在融合。