首页 > 代码库 > 【互动问答分享】第2期决胜云计算大数据时代Spark亚太研究院公益大讲堂

【互动问答分享】第2期决胜云计算大数据时代Spark亚太研究院公益大讲堂

2024-07-21 22:08:02   218人阅读

“决胜云计算大数据时代”

 

Spark亚太研究院100期公益大讲堂 【第2期互动问答分享】

 

Q1：新手学习spark如何入手才好？

  • 先学习Scala的内容，强烈推荐《快学Scala》；

  • 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例，  对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。

Q2：我想问，hdfs的namenode挂了，怎么处理？

  • 使用ZooKeeper；

  • 使用Mesos；

  • 使用Yarn；


Q3：用python和scala区别大吗？

  • 就代码的风格而言是不大的；

  • 世界上也有很多人使用python开发Spark程序；

  • 但是最为推荐的是Scala，因为Spark框架是用Scala编写的，在API方面对Scala的支持也是最好的；


Q4：对几百T的数据，现在SPARK支持得如何？

  • Spark能够非常好的处理几十T或者几百T的数据；

  • 正如Spark能够轻松处理PB级别的数据；

 

Q5：可以结果直接输出到关系型数据库吗？

  • 目前不可以；

  • 一般都是把结果直接输出到HDFS上；

  • 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数        据库中；


Q6：SPARK环境需要哪些？ 除了HDFS基础，有SPARK集成包么？

  • Spark的安装需要Hadoop的HDFS；

  • Spark有自己的集成包，但是依旧需要HDFS的配合；

  • 同时Spark也可以部署到亚马逊云上；


Q7：spark的缺点是什么？不适合做什么？

  • 目前主要的缺点是对数据细粒度的支持不够好；


Q8：spark sql可以代替hive和hbase吗？

  • Spark SQL可以取代Hive；

  • Spark SQL可以完成HBase的大部分功能；

  • Spark Streaming配合Spark SQL可以取代HBase；

Q9：没有java基础可否直接看scala语言？

  • 可以直接看Scala语言

                                                                                                                    Q10：能否提供一个安装部署spark虚拟机的视频或者文档？

  • 我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例，  对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。

 

Q11：目前那些行业在用spark处理大数据？

  • Spark技术在国内外的应用开始越来越广泛，它正在逐渐走向成熟，并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如：一直支持Hadoop的四大商业机构（Cloudera、MapR、Hortonworks、EMC）已纷纷宣布支持Spark；Mahout前一阶段也表示，将不再接受任何形式以MapReduce实现的算法，同时还宣布了接受基于Spark新的算法；而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；另外，Google也已经开始将负载从MapReduce转移到Pregel和Dremel上；FaceBook也宣布将负载转移到Presto上……

  • Yahoo！、淘宝、优酷土豆、网易、百度、腾讯等国内大型知名企业已经在商业生产环境下开始使用Spark技术；Intel、IBM、Linkin、Twwitter等国外大型知名企业也都在大力支持Spark。随着这些国内外大企业的使用，Spark技术的发展必然势不可挡，行业普及很快就会到来


本文出自 “Spark亚太研究院” 博客，谢绝转载！

【互动问答分享】第2期决胜云计算大数据时代Spark亚太研究院公益大讲堂


联系
我们