- it技术
- scala的union算子
union算子在spark中可以直接传入Array[RDD[Int]]作为参数，返回拼接后的rdd。
val a1
= Array
(1,2,3)
val a2
= Array
(4,5,6)
val conf
: SparkConf
= new SparkConf
().setMaster
("local[2]").setAppName
("test")
val sc
= new SparkContext
(conf
)
sc
.setLogLevel
("WARN")
val rdd1
: RDD
[Int] = sc
.makeRDD
(a1
)
val rdd2
: RDD
[Int] = sc
.makeRDD
(a2
)
val rddArr
: Array
[RDD
[Int]] = Array
(rdd1
,rdd2
)
val unionRDD1
= rdd1
.union
(rdd2
)
val unionRDD
: RDD
[Int] = sc
.union
(rddArr
)
unionRDD
.foreach
(x
=>println
(x
))
