java 网络爬虫框架：

       apache Nutch ,Heritrix等，主要参照开源社区提供的40个开源项目

        文章背景：

        最近要写个爬虫抓去新浪微博的数据，然后用hadoop存储后，进行分析，就在网上搜取相关资料。

        网友推荐使用python来做，但鉴于本人擅长的是java，学习python需要一定的时间成本，还是选择java.一开始想自己从头写，搜到apache httpClient,  后来想着还是用开源成熟的框架来做，目前觉得apache Nutch 和Heritrix是个不错的选择，不过我还没开始实验，所以文章待续。。。

        相关链接：

        apache Nutch  wiki

        Nutch官网：

        Heritrix   wiki  

        github for Nutch

        api for Nutch

  其他博客：

Nutch介绍及使用

Nutch 快速入门(Nutch 2.2.1)

Nutch-2.2.1学习

java 网络爬虫框架