Hadoop+Lucene+Nutch

Hadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

Lucene是一个Java高性能全文索引引擎工具包可以方便的嵌入到各种实际应用中实现全文索引搜索功能。Nutch是一个应用程序，是一个以Lucene为基础实现的搜索引擎应用，Lucene为Nutch 提供了文本搜索和索引的API，Nutch不仅提供搜索，而且还有数据抓取的功能。

在nutch0.8.0 版本之前，Hadoop是Nutch的一部分，从nutch0.8.0开始，NDFS和MapReduce从中被剥离出来成立一个新的开源项目 Hadoop，Nutch0.8.0版本的架构比从前有了根本性的变化，完全构建在Hadoop的基础之上了。