首页 > 代码库 > Parquet + Spark SQL
Parquet + Spark SQL
海量数据存储 推荐用 Parquet列式存储 替代 HDFS上的文件
下面两篇文章讲解 用Parquet列式存储来存储数据,主要是提高查询性能、和存储压缩
《Spark SQL下的Parquet使用最佳实践和代码实战》http://blog.csdn.net/sundujing/article/details/51438306
《操作技巧:将 Spark 中的文本转换为 Parquet 以提升性能》http://www.ibm.com/developerworks/cn/analytics/blog/ba-parquet-for-spark-sql/index.html
离线:Kafka -> HDFS -> Parquet -> Spark SQL
实时:Kafka -> Spark Streaming -> Parquet -> Spark SQL(ML、Graphx等)
Parquet + Spark SQL
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。