首页 > 代码库 > 给pyspark 设置新的环境
给pyspark 设置新的环境
如果是从pysparkshell里面进去,此时已经有了pyspark环境了,所以要加一个:sc.stop()
from pyspark import SparkContext, SparkConf
sc.stop()
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)
如果提交脚本上去,此时还没有pyspark环境,所以不用sc.stop(),直接创建环境参数。但是可能需要在程序结束后加上sc.stop()
from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)
#===代码
#......
#=====代码
sc.stop()
给pyspark 设置新的环境