하나의 서버에 스파크를 스탠드얼론으로 구축했고, 마스터 1, 워커 3개가 있다.
또 다른 서버에는 위의 스파크 클러스터를 바라보는 제플린을 설치했다.
두개의 서버에서 jps는 어떤 형태를 갖는지 확인해보자
스파크 클러스터가 있는 서버
재플린이 있는 서버
처음 실행시켰을 때 도커상태
스파크
제플린
'Data Engineering > Spark' 카테고리의 다른 글
| [Spark] 제플린에서 spark-shell 옵션 설정하는 방법 (0) | 2022.03.19 |
|---|---|
| [Spark] 아파치 스파크 클러스터와 제플린 실행시 jps 상태 확인 (0) | 2022.03.19 |
| [Spark] zeppelin에서 spark application 실행하고 간단한 데이터 처리 (0) | 2022.03.18 |
| [Spark] zeppelin에서 spark 어플리케이션 실행하고 종료하는 방법 (0) | 2022.03.18 |
| [Spark] spark cluster에서 워커노드별 코어와 메모리 할당 (0) | 2022.03.18 |
