首页 > 代码库 > spark(四)

spark(四)

一、 spark 2  版本 相对于以前版本的变化

    spark core  :

                  Accumulators (累加器):性能更好,页面上也可以看到累加器的信息

     spark sql: 

             1、

             2、DataSet(合并了之前的dataFrame)

                  spark 2 里面没有dataframe了,dataframe只是dataset的一部分

            3、对sql语句的支持更好

                在spark 1.x的时候是不支持子查询。但是spark2 的时候可以了

            

二、spark 为什么由 1  升级到 2

spark(四)