Data Engineering/Spark

[Spark] spark cluster에서 워커노드별 코어와 메모리 할당

stand-alone 모드이고 마스터노드 1개 워커노드 3개로 구성했다. bash /home/spark/sbin/start-slave.sh spark://spark-master:7077 -m 1g -c 1 1개의 워커노드는 1기가의 메모리, 1개의 코어 전체 워커노드는 3기가의 메모리, 3개의 코어 bash /home/spark/sbin/start-slave.sh spark://spark-master:7077 -m 2g -c 1 1개의 워커노드는 2기가의 메모리, 1개의 코어 전체 워커노드는 6기가의 메모리, 3개의 코어 bash /home/spark/sbin/start-slave.sh spark://spark-master:7077 -m 1g -c 2 1개의 워커노드는 1기가의 메모리, 2개의 코어 전체..