[Spark] pyspark 코드에서 spark master host 변경하는 방법

변경 전 코드

from pyspark.sql import SparkSession

spark = SparkSession \
        .builder \
        .appName("2_test_sparksession") \
        .getOrCreate()

sc = spark.sparkContext

print(sc.getConf().getAll())

spark.stop()

결과

 

변경 후 코드

from pyspark.sql import SparkSession

spark = SparkSession \
        .builder \
        .appName("2_test_sparksession") \
        .master('spark://spark-master:17077') \
        .getOrCreate()

sc = spark.sparkContext

print(sc.getConf().getAll())

spark.stop()

결과