首页 > 代码库 > sparksql与hive整合
sparksql与hive整合
参考文献:
http://blog.csdn.net/stark_summer/article/details/48443147
hive配置
编辑 $HIVE_HOME/conf/Hive-site.xml,增加如下内容:
<property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property>
启动hive metastore
启动 metastore:
hive --service metastore &
查看 metastore:
jobs
关闭 metastore:
$kill %1
kill %jobid,1代表job id
spark配置
将 $HIVE_HOME/conf/hive-site.xml copy或者软链 到 $SPARK_HOME/conf/ 将 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者软链到$SPARK_HOME/lib/
copy或者软链$SPARK_HOME/lib/ 是方便spark standalone模式使用
启动spark-sql
注:
如果没有启动 hive metastore 则会:
sparksql与hive整合
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。