首页 > 代码库 > Intellij编译Spark on Yarn源码注意事项

Intellij编译Spark on Yarn源码注意事项

默认是1.0.4,需设置指定Hadoop版本:

在${SPARK_HOME}/pom.xml中的<id>yarn</id>改为

<profile>
      <id>yarn</id>
      <properties>
        <hadoop.major.version>2</hadoop.major.version>
        <hadoop.version>2.2.0</hadoop.version>
        <yarn.version>2.2.0</yarn.version>
        <protobuf.version>2.5.0</protobuf.version>
      </properties>
      <modules>
        <module>yarn</module>
      </modules>
    </profile>

导入时候选yarn

Intellij编译Spark on Yarn源码注意事项