这两天在研究了hbase，hadoop，hive，spark

由于spark.py不支持clust（jar才支持，但是太麻烦了>_<）

所以最终决定使用hive

在hive中用create external table后可以一同指定partition和location，这样就可以直接在hadoop的原始数据里进行查询了，

查询会自动转换成map reduce，

用msck可以修复之前partition有问题的地方

关于hive