[Spark] RDD의 문장들을 띄어쓰기로 단어를 나누고 카운트하는 방법

코드

from pyspark.sql import SparkSession

if __name__ == "__main__":

    spark = SparkSession\
            .builder\
            .appName("0_save_file")\
            .getOrCreate()

    sc = spark.sparkContext

    lines = sc.parallelize(['i love you', 'you are my friend', 'my name is park'])
    
    print(f'lines : {lines.collect()}' )

    # pairs = lines.map(lambda s: s.split(" "))
    # pairs = pairs.filter(lambda x: len(x) > 3)

    pairs = lines.flatMap(lambda x: x.split(" ")).map(lambda word: (word, 1))

    print(f'pairs : {pairs.collect()}' )

    spark.stop()

결과