[Spark] 스파크 스탠드얼론 워커 갯수 설정하는 방법 (stand-alone)

jdk 버전 : jdk-8u321-linux-x64

스파크 버전 : spark-3.2.1-bin-hadoop3.2

 

설정 파일 : spark-env.sh

위치 : spark-env.sh 파일은 보통 스파크 설치 파일의 conf 폴더 안에 있다.

예를 들어서 내가 /home 에 스파크를 설치했으면

/home/spark/conf/spark-env.sh 가 있을 것이다

 

export SPARK_WORKER_INSTANCES=3

위와 같이 설정하면 워커는 3개가 된다

 

export SPARK_WORKER_INSTANCES=2

위와 같이 설정하면 워커는 2개가 된다

 

export SPARK_WORKER_INSTANCES=1

위와 같이 설정하면 워커는 1개가 된다

 

export SPARK_WORKER_INSTANCES=3

 

 

 

export SPARK_WORKER_INSTANCES=2