首页 > 代码库 > SparkStreaming性能调优大全!
SparkStreaming性能调优大全!
SparkStreaming性能调优大全!
一、日志已满:
spark.executor.logs.rolling.maxSize
下面三个日志rolling参数记得设置:
spark.executor.logs.rolling.strategy size
spark.executor.logs.rolling.maxSize 134217728 #default byte
spark.executor.logs.rolling.maxRetainedFiles
二、Spark Streamingz对Kafka的Offset进行管理
zookeeper.session.timeout.ms
一般跳大3~5倍。
http://geeks.aretotally.in/spark-streaming-kafka-direct-api-store-offsets-in-zk/
http://www.tuicool.com/articles/vaUzquJ
三、 spark.task.maxFailures
默认4,调整10左右
四、spark.streaming.kafka.maxRetries
默认1,调成3或者5
五、Spark Streaming连接Kafka用Direct方式。
SparkStreaming性能调优大全!
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。