谷歌索引系统
根据罗杰·蒙蒂的说法,答案应该与谷歌存储数据的方式有关。自Caffeine更新以来,Google索引一直在不断更新。 2010 年,存储所有 Google 数据的软件被称为BigTable,而 Google 的文件系统被称为Colossus。
当我们谈论索引时,我们谈论的是 Caffeine 和Percolator系统。在一份 PDF 文档中,Google 解释了Percolator 的工作原理,还解释了 Google 使用MapReduce的旧文件系统与并行执行计算的新分布式文件系统 之间的权衡。
Roger Montti 在他的文章中系统地详细介绍了整个数据处理过程(我们建议所有想要深入研究该主题的人阅读原文的整篇文章),在谈到 开销时多次引用 2010 年的文档,他说 Google 已经“选择了一种可以在商用机器上线性扩展多个数量级的架构,但我们发现与传统数据库架构相比,其开销显着增加了 30 倍(……)”。