[Spark] Apache Spark Stand-Alone 실행, 종료하는 방법

jdk 버전 : jdk-8u321-linux-x64

스파크 버전 : spark-3.2.1-bin-hadoop3.2

 

실행 전 jps 확인

실행 전 ps -ef 확인

실행 전 netstat -tnlp | grep "LISTEN" 확인

 

스파크 마스터 실행 명령어

/home/spark/sbin/start-master.sh
/(본인의 스파크 설치 경로)/sbin/start-master.sh

 

 

jps

 

ps -ef

 

netstat -tnlp | grep "LISTEN"

 

스파크 마스터 실행 후 스파크 워커 실행

/home/spark/sbin/start-slave.sh spark://spark-cluster:17077
/(본인이 스파크 설치 경로)/sbin/start-slave.sh spark://(본인 스파크 호스트이름):(본인 스파크 포트)

 

jps

 

ps -ef

 

netstat -tnlp | grep "LISTEN"

 

종료할 때에는 워커를 끄고 마스터를 끄는 식으로 가자

/home/spark/sbin/stop-slave.sh spark://spark-cluster:17077
/(본인이 스파크 설치 경로)/sbin/stop-slave.sh spark://(본인 스파크 호스트이름):(본인 스파크 포트)

 

jps

ps -ef

 

netstat -tnlp | grep "LISTEN"

 

마스터 종료

/home/spark/sbin/stop-master.sh
/(본인의 스파크 설치 경로)/sbin/stop-master.sh

 

jps

 

ps -ef

 

netstat -tnlp | grep "LISTEN"