首页 > 代码库 > Spark修炼之道——Spark学习路线、课程大纲

Spark修炼之道——Spark学习路线、课程大纲

课程内容

  1. Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)
  2. Spark修炼之道(进阶篇)——Spark入门到精通(30讲)
  3. Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)
  4. Spark修炼之道(高级篇)——Spark源代码解析(50讲)

部分内容会在实际编写时动态调整。或补充、或删除。

Spark修炼之道(基础篇)——Linux大数据开发基础(15讲)、

  1. Linux大数据开发基础——第一节:Ubuntu Linux安装与介绍
  2. Linux大数据开发基础——第二节:Linux文件系统、文件夹(一)
  3. Linux大数据开发基础——第三节:Linux文件系统、文件夹(二)
  4. Linux大数据开发基础——第四节:Linux用户、组与权限管理
  5. Linux大数据开发基础——第五节:软件包管理
  6. Linux大数据开发基础——第六节:进程管理
  7. Linux大数据开发基础——第七节:网络管理
  8. Linux大数据开发基础——第八节:SSH原理与应用
  9. Linux大数据开发基础——第九节:vi编程器(一)
  10. Linux大数据开发基础——第十节:vi编程器(二)
  11. Linux大数据开发基础——第十一节:shell编程基础(一)
  12. Linux大数据开发基础——第十二节:shell编程基础(二)
  13. Linux大数据开发基础——第十三节:shell编程基础(三)
  14. Linux大数据开发基础——第十四节:shell编程基础(四)
  15. Linux大数据开发基础——第十五节:Java开发环境、MySQL及Tomcat等的安装与使用

Spark修炼之道(基础篇)——Akka并发编程(国内首发,Scala版)

  1. Akka并发编程——第一节:Akka简单介绍、开发环境部署及第一个Akka应用程序
  2. Akka并发编程——第二节:Actors、Typed Actors、ActorSystem
  3. Akka并发编程——第三节:Akka 容错机制
  4. Akka并发编程——第四节:FUTURES AND AGENTS
  5. Akka并发编程——第五节:Akka 消息通道
  6. Akka并发编程——第六节:Akka 事务
  7. Akka并发编程——第七节:Routing、IO等
  8. Akka并发编程——第八节:分布式环境下Akka应用程序开发

Spark修炼之道(进阶篇)——Spark入门到精通(30讲)

  1. Spark入门到精通(入门)——第一节:Spark简单介绍,主要介绍Spark生态系统、架构及容错机制
  2. Spark入门到精通——第二节:开发环境部署(一),Linux系统安装、Hadoop集群搭建
  3. Spark入门到精通——第三节:开发环境部署(二),Hadoop集群搭建、Spark集群部署及測试
  4. Spark入门到精通——第四节:开发环境部署(三),Intellij IDEA Spark开发环境搭建并开发第一个Spark应用程序
  5. Spark入门到精通——第五节:Spark交互式命令行,怎样使用Spark交互式命令行、理解Spark任务提交流程、运行流程。假设通过WebUI查看不论什么运行状态
  6. Spark入门到精通——第六节:RDD弹性分布式数据集,介绍RDD实现原理。理解什么是Action和Transformation。理解窄依赖与宽依赖
  7. Spark入门到精通——第七节:RDD 经常使用函数(一)
  8. Spark入门到精通——第八节:RDD 经常使用函数(二)
  9. Spark入门到精通——第九节:RDD 经常使用函数(三)
  10. Spark入门到精通——第十节:Spark Job运行原理分析、shuffle操作解析
  11. Spark入门到精通——第十一节:Spark广播变量与累加器、Cache与checkpoint问题
  12. Spark入门到精通——第十二节:Spark多语言编程
  13. Spark入门到精通(Spark SQL)——第十三节: Spark SQL组件、架构
  14. Spark入门到精通(Spark SQL)——第十四节: DataFrame、SparkSQL运行原理
  15. Spark入门到精通(Spark SQL)——第十五节: Spark SQL基础应用
  16. Spark入门到精通(Spark SQL)——第十六节: 复杂应用案例实战
  17. Spark入门到精通(Spark SQL)——第十七节: SparkSQL性能调优
  18. Spark入门到精通(Spark Streaming)——第十八节: Spark Streaming运行原理、DStream
  19. Spark入门到精通(Spark Streaming)——第十九节: DStream 经常使用函数(一)
  20. Spark入门到精通(Spark Streaming)——第二十节: DStream 经常使用函数(二)
  21. Spark入门到精通(Spark Streaming)——第二十一节: 应用案例实战
  22. Spark入门到精通(Spark MLlib)——第二十二节: Machine Learning On Spark简单介绍、经常使用数据结构
  23. Spark入门到精通(Spark MLlib)——第二十三节:逻辑回归算法实战
  24. Spark入门到精通(Spark MLlib)——第二十四节:K均值算法实战
  25. Spark入门到精通(Spark MLlib)——第二十五节:协同过滤推荐算法实战
  26. Spark入门到精通(Spark MLlib)——第二十六节:卷积神经网络CNN算法实战
  27. Spark入门到精通(Spark MLlib)——第二十七节:高级文本处理实战
  28. Spark入门到精通(Spark MLlib)——第二十八节:基于Spark Streaming的实时机器学习实战
  29. Spark入门到精通(Spark Graphx)——第二十九节:Spark图计算简单介绍、Spark Graphx架构与原理
  30. Spark入门到精通(Spark Graphx)——第三十节: Graphx经常使用数据结构(比如Vertices等)
  31. Spark入门到精通(Spark Graphx)——第三十一节: Graphx基本操作实战
  32. Spark入门到精通(Spark Graphx)——第三十二节: PageRank算法实战
  33. Spark入门到精通(Spark R) ——第三十三节:Spark R 与结束语

Spark修炼之道(实战篇)——Spark应用开发实战篇(15讲)

  1. Spark应用开发实战——第一节:Spark实时推荐系统开发(一)
  2. Spark应用开发实战——第二节:Spark实时推荐系统开发(二)
  3. Spark应用开发实战——第三节:Spark实时推荐系统开发(三)
  4. Spark应用开发实战——第四节:Spark实时推荐系统开发(四)
  5. Spark应用开发实战——第五节:Spark实时推荐系统开发(五)
  6. Spark应用开发实战——第六节:Spark SQL站点日志分析(一)
  7. Spark应用开发实战——第七节:Spark SQL站点日志分析(二)
  8. Spark应用开发实战——第八节:Spark SQL站点日志分析(三)
  9. Spark应用开发实战——第九节:Spark SQL站点日志分析(四)
  10. Spark应用开发实战——第十节:Spark SQL站点日志分析(五)
  11. Spark应用开发实战——第十一节:金融数据分析案例(一)
  12. Spark应用开发实战——第十二节:金融数据分析案例(二)
  13. Spark应用开发实战——第十三节:金融数据分析案例(三)
  14. Spark应用开发实战——第十四节:金融数据分析案例(四)
  15. Spark应用开发实战——第十五节:金融数据分析案例(五)

Spark修炼之道(高级篇)——Spark源代码解析(50讲)

  1. Spark源代码解析——Spark源代码分析环境搭建、源代码分析技巧
  2. Spark源代码解析——RDD源代码分析
  3. Spark源代码解析——SparkContext源代码分析
  4. Spark源代码解析——TaskScheduler源代码分析
  5. Spark源代码解析——DAGScheduler源代码分析
  6. Spark源代码解析——Spark Standalone调度器源代码分析
  7. Spark源代码解析——Worker、Executor源代码分析
  8. Spark源代码解析——MLib 源代码分析
  9. Spark源代码解析——DataFrame源代码分析
  10. Spark源代码解析——DStream源代码解析
  11. ………………………………………………………
<script type="text/javascript"> $(function () { $(‘pre.prettyprint code‘).each(function () { var lines = $(this).text().split(‘\n‘).length; var $numbering = $(‘
    ‘).addClass(‘pre-numbering‘).hide(); $(this).addClass(‘has-numbering‘).parent().append($numbering); for (i = 1; i <= lines; i++) { $numbering.append($(‘
  • ‘).text(i)); }; $numbering.fadeIn(1700); }); }); </script>

Spark修炼之道——Spark学习路线、课程大纲