Data Engineering/Spark

[Spark] 스파크 메인 웹 UI (스파크 마스터) 포트 변경하는 방법

박경태 2022. 3. 30. 18:12

jdk 버전 : jdk-8u321-linux-x64

스파크 버전 : spark-3.2.1-bin-hadoop3.2

 

설정 파일 : spark-env.sh

위치 : spark-env.sh 파일은 보통 스파크 설치 파일의 conf 폴더 안에 있다.

예를 들어서 내가 /home 에 스파크를 설치했으면

/home/spark/conf/spark-env.sh 가 있을 것이다

 

export SPARK_MASTER_WEBUI_PORT=18080

포트 번호가 18080으로 변경된다.

 

 

export SPARK_MASTER_WEBUI_PORT=18888

포트 번호가 18888로 변경된다

 

 

 

export SPARK_MASTER_WEBUI_PORT=28888

포트 번호가 28888로 변경된다