首页 > 代码库 > error: not found: value sc
error: not found: value sc
【问题】
解压spark的tar包后,执行bin/spark-shell,执行val lines=sc.textFile("README.md")时,抛错error: not found: value sc
【解决办法】
这是因为shell启动时没有初始化sparkContext,修改conf/spark-env.sh文件,添加如下内容:
export SPARK_LOCAL_IP="127.0.0.1"
再次启动bin/spark-shell,这是会看到如下信息,代表spark context已经被初始化了,现在可以正常执行命令了。
Spark context Web UI available at http://127.0.0.1:4040Spark context available as ‘sc‘ (master = local[*], app id = local-1477366425671).Spark session available as ‘spark‘.
error: not found: value sc
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。