[Spark] RDD를 map한 결과를 각각의 키로 합계내는 방법

코드

from pyspark.sql import SparkSession

if __name__ == "__main__":

    spark = SparkSession\
            .builder\
            .appName("0_save_file")\
            .getOrCreate()

    sc = spark.sparkContext

    lines = sc.parallelize(['i love you', 'you are my friend', 'my name is park'])
    
    print(f'lines : {lines.collect()}' )

    # pairs = lines.map(lambda s: s.split(" ")) # 띄어쓰기로 나누기
    # pairs = pairs.filter(lambda x: len(x) > 3) # 단어의 개수가 3개를 초과하는 것만 필터
    # pairs = lines.flatMap(lambda x: x.split(" ")).map(lambda word: (word, 1)) # 모든 단어를 map 하기

    pairs = lines.flatMap(lambda x: x.split(" ")).map(lambda word: (word, 1)).groupByKey().mapValues(sum).sortByKey(True)

    print(f'pairs : {pairs.collect()}' )

    spark.stop()

결과