首页 > 代码库 > sparkStreaming实现wordcount
sparkStreaming实现wordcount
import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
object WordCount extends App {
val conf=new SparkConf().setMaster("local[2]").setAppName("wordcount")
val streamContext=new StreamingContext(conf,Seconds(5))
val lines=streamContext.socketTextStream("myhadoop1", 9999)
//监控主机的一个端口 用命令nc -lk 9999
lines.flatMap {_.split(" ")}.map {(_,1)}.reduceByKey(_+_).print()
streamContext.start()
streamContext.awaitTermination()
}
sparkStreaming实现wordcount
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。