[Spark] 리스트 값이 있는 rdd 여러개를 하나의 rdd로 만드는 방법

코드

from pyspark.sql import SparkSession


if __name__ == "__main__":

    spark = SparkSession\
            .builder\
            .appName("0_save_file")\
            .getOrCreate()

    line_1 = spark.sparkContext.parallelize(['0', '1', '2', '3', '4'])
    line_2 = spark.sparkContext.parallelize(['5', '6', '7', '8', '9'])
    line_3 = spark.sparkContext.parallelize(['10', '11', '12', '13', '14'])

    line_all = line_1.union(line_2).union(line_3)

    print('line_1   :', f'{line_1.count()},  {line_1.collect()}')
    print('line_2   :', f'{line_2.count()},  {line_2.collect()}')
    print('line_3   :', f'{line_3.count()},  {line_3.collect()}')
    print('line_all :', f'{line_all.count()}, {line_all.collect()}')

    spark.stop()