변경전 코드
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.getOrCreate()
sc = spark.sparkContext
print(sc.getConf().getAll())
spark.stop()
결과
변경 후 코드
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("2_test_sparksession") \
.getOrCreate()
sc = spark.sparkContext
print(sc.getConf().getAll())
spark.stop()
결과
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] How to adjust spark memory in pyspark code (0) | 2022.06.04 |
---|---|
[Spark] pyspark 코드에서 spark master host 변경하는 방법 (0) | 2022.06.01 |
[Spark] 스파크 데이터프레임 첫번째 행만 출력하는 방법 (0) | 2022.06.01 |
[Spark] 스파크 데이터프레임 groupBy() 동시에 컬럼명 수정하는 방법 (0) | 2022.06.01 |
[Spark] 스파크 데이터프레임을 agg() 이용해서 groupBy() 하는 방법 (0) | 2022.06.01 |