谷歌开发实时索引系统：数秒内抓取内容更新

新的篇章

美国搜索引擎技术网站SearchEngineLand主编丹尼·苏利文（Danny Sullivan）认为，这将为谷歌掀开新的篇章。

谷歌PubSubHubbub（以下简称“PuSH”）实时同步协议开发主管布伦特·斯拉特金（Brett Slatkin）去年秋天曾表示，他希望谷歌有朝一日能够用PuSH协议来索引网络内容，而不再借助已经使用多年的爬虫技术。谷歌高级产品经理狄伦·凯西（Dylan Casey）周二在加州圣克拉拉举行的搜索营销大会（Search Marketing Expo）上表示，该公司很快就将为网站所有者提供一种标准的方式，使之可以获得与PuSH类似的效果。

运作方式

PuSH是一种基于ATOM格式的同步系统。使用该系统时，网站首先要公布一个Hub，每当有内容更新时，该网站便会通过这个Hub发出通知。而用户注册后就相当于告诉该Hub：“当该网站有内容更新时，请将立刻将其发送给我。”这样一来，注册用户就无需不停地访问原始网站来查看是否有内容更新，只需要等待Hub的通知即可。当网站发布了新的内容后，便会自动告知Hub，而Hub则会将这些内容发送给所有的注册用户。整个过程只需几秒钟。

如果谷歌借助PuSH来部署一套索引程序，便可以要求所有网站部署这一技术，并申报各自所使用的Hub，这就像在传统RSS服务中提供RSS feed一样。之后，谷歌便可以借助这些Hub来获知网站是否有内容更新。

但业内人士认为，PuSH协议不太可能代替现有的爬虫程序。事实上，必须要通过爬虫技术来获取网站的PuSH feed，但这种实时协议却能够对谷歌现有的索引技术起到极大的促进作用。

苏利文认为，谷歌必须要部署一种垃圾信息控制机制，而不能不加审查地收录所有实时信息。他表示，这种情况曾在搜索引擎发展初期出现过，而且造成了极大的问题。

优势所在

从运算角度来讲，PuSH将为谷歌带来更高的效率。但斯拉特金认为，更重要的在于此举对于小型网站的影响。目前，谷歌爬虫对许多小型网站的抓取频率仅为一周一次。而有了PuSH系统，这些网站便可以将新内容实时提交给谷歌。

内容更为丰富、速度更快、效率更高的互联网将对所有人有益，而从中获益的搜索引擎也不止谷歌一家。PuSH是一种开放协议，雅虎和必应也可以访问。斯拉特金说：“我的主管一直在告诉我，要对这一协议采取开放的推广方式，即使对竞争对手也要如此。”