首页 > 代码库 > Spark学习笔记——数据读取和保存

Spark学习笔记——数据读取和保存

spark所支持的文件格式

技术分享

 

1.文本文件

在 Spark 中读写文本文件很容易。

当我们将一个文本文件读取为 RDD 时,输入的每一行 都会成为 RDD 的 一个元素

也可以将多个完整的文本文件一次性读取为一个 pair RDD, 其中键是文件名,值是文件内容

 

Spark学习笔记——数据读取和保存