首页 > 代码库 > SparkStreaming性能调优大全!

SparkStreaming性能调优大全!

SparkStreaming性能调优大全!


一、日志已满:

 spark.executor.logs.rolling.maxSize 


下面三个日志rolling参数记得设置: 

spark.executor.logs.rolling.strategy size 

spark.executor.logs.rolling.maxSize 134217728 #default byte 

spark.executor.logs.rolling.maxRetainedFiles 


二、Spark Streamingz对Kafka的Offset进行管理

zookeeper.session.timeout.ms

一般跳大3~5倍。

http://geeks.aretotally.in/spark-streaming-kafka-direct-api-store-offsets-in-zk/

http://www.tuicool.com/articles/vaUzquJ


技术分享

三、 spark.task.maxFailures 


技术分享默认4,调整10左右


四、spark.streaming.kafka.maxRetries

默认1,调成3或者5


五、Spark Streaming连接Kafka用Direct方式。



SparkStreaming性能调优大全!