jdk 버전 : jdk-8u321-linux-x64
스파크 버전 : spark-3.2.1-bin-hadoop3.2
설정 파일 : spark-env.sh
위치 : spark-env.sh 파일은 보통 스파크 설치 파일의 conf 폴더 안에 있다.
예를 들어서 내가 /home 에 스파크를 설치했으면
/home/spark/conf/spark-env.sh 가 있을 것이다
export SPARK_MASTER_WEBUI_PORT=18080
포트 번호가 18080으로 변경된다.
export SPARK_MASTER_WEBUI_PORT=18888
포트 번호가 18888로 변경된다
export SPARK_MASTER_WEBUI_PORT=28888
포트 번호가 28888로 변경된다
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] Apache Spark Stand-Alone CPU, 메모리 사용률 확인하기 (0) | 2022.03.30 |
---|---|
[Spark] Apache Spark Stand-Alone 실행, 종료하는 방법 (0) | 2022.03.30 |
[Spark] 스파크 스탠드얼론 워커의 코어와 메모리 설정하는 방법 (stand-alone) (0) | 2022.03.30 |
[Spark] 스파크 스탠드얼론 워커 갯수 설정하는 방법 (stand-alone) (0) | 2022.03.30 |
[Hadoop] 하둡 core-site.xml 설정파일 확인하기 (0) | 2022.03.25 |