如何将一个很大的RDD安全的获取到本地？

本文介绍如何把一个很大的RDD安全取回到Driver端本地的方法。

问题的提出

有时需要把RDD或Dataframe的数据获取到本地进行保存或处理。一般的方法是使用collect()函数来操作，但若数据集的数据量很大，就会导致Driver端的OOM错误。此时，需要考虑使用其他方式来处理。

问题的解决

可以这样考虑，要是把整个RDD取回来不行，那么是否可以按分区把数据取回。

val parts = rdd.partitions for (p <- parts) { val idx = p.index // 注意第2个参数是true，这样避免rdd的重复shuffle操作 val partRdd = rdd.mapPartitionsWithIndex( a => if (a._1 == idx) a._2 else Iterator(), true) // 以数组的方式把分区数据获取到本地 val data = partRdd.collect // 使用本地的分区数据 /** * 这里可以对data进行自己的处理，或则保存到文件，或则迭代访问等操作 */ }

小结

本文介绍了如何把一个很大的RDD或Dataframe取回到Driver端，并进行保存的方法。