컨테이너 1 : NameNode, NodeManager, ResourceManager, JobHistoryServer + MasterNode(Spark)
컨테이너 2 : SecondaryNameNode, WorkerNode + WorkerNode(Spark)
컨테이너 3 : WorkerNode + WorkerNode(Spark)
컨테이너 4 : WorkerNode + WorkerNode(Spark)
컨테이너 5 : WorkerNode + WorkerNode(Spark)
컨테이너 1 : NameNode, NodeManager, ResourceManager, JobHistoryServer + MasterNode(Spark)
< 실행 전 >
< 실행 후 >
컨테이너 2 : SecondaryNameNode, WorkerNode + WorkerNode(Spark)
< 실행 전 >
< 실행 후 >
컨테이너 3 : WorkerNode + WorkerNode(Spark)
< 실행 전 >
< 실행 후 >
컨테이너 4 : WorkerNode + WorkerNode(Spark)
< 실행 전 >
< 실행 후 >
컨테이너 5 : WorkerNode + WorkerNode(Spark)
< 실행 전 >
< 실행 후 >
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] 스파크 실행시 설정값 우선순위 (0) | 2022.03.25 |
---|---|
[Zookeeper] 주키퍼 설정파일 zoo.cfg 정리 (0) | 2022.03.25 |
[Spark] Spark on Yarn Cluster 실행시 각 컨테이너별 jps 상태 확인하기 (0) | 2022.03.20 |
[Spark] 로컬에서 제플린 테스트시 사용하는 dockerfile (0) | 2022.03.20 |
[Spark] 로컬에서 스파크 클러스터 테스트시 사용하는 dockerfile (0) | 2022.03.20 |