首页 > 代码库 > spark未来的发展方向
spark未来的发展方向
spark是采用scala语言开发的基于内存的计算框架,作者Matei Zaharia,在未来的发展方向:
1、spark streaming:提高spark的流处理能力,使得spark更适于通过一套代码进行大数据流处理和批量计算;
2、MLlib:spark0.8加入了MLlib,下一步会在MLlib中加入更多的机器学习算法,使得spark更适于分布式机器学习;
3、GraphX:是基于spark的图计算框架,当前很多社交网络分析,机器学习和图的相关算法最终完成推荐系统的工作,最终想达到让用户只通过几行简单的
代码能够实现图算法;
4、稳定性:与用户和开源社区合作,部署在多种应用场景下,包括ETL、SQL、机器学习、图分析等,使其更加稳定;
5、易用性:继续完善spark的python/java API,同时使其安装部署更加方便。
努力将spark打造成大数据时代的智能手机。
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。