（一）搜索引擎的开发一般可分为以下三大部分

1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi

2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene

3、视图层：也用户的交互界面，如一个网站的首页

其基本架构可参考下图：