[Spark] RDD에 있는 문장을 띄어쓰기로 나누는 방법

코드

from pyspark.sql import SparkSession

if __name__ == "__main__":

    spark = SparkSession\
            .builder\
            .appName("0_save_file")\
            .getOrCreate()

    sc = spark.sparkContext

    lines = sc.parallelize(['i love you', 'you are my friend', 'my name is park'])
    
    print(lines.collect())

    pairs = lines.map(lambda s: s.split(" "))

    print(pairs.collect())

    spark.stop()

결과