모든 설정파일은 아래에서 확인이 가능합니다.
https://github.com/ParkGyeongTae/spark-pgt/tree/main/2_spark-cluster-zeppelin
나는 제플린의 로그가 어디에 쌓이는지 확인하고 싶었다.
기본적으로 제플린의 로그는 제플린 폴더 안에 /logs 라는 곳에 들어간다.
pwd
ll
cd logs
ll
pwd
로그의 위치는 zeppelin-env.sh 에서 설정할 수 있다.
ZEPPELIN_LOG_DIR
만약 로깅되는 위치를 수정하고싶다면 해당 값을 수정하면 된다.
예를들어 나는 /home/zeppelin/logggg 에 로그를 남기고싶다면 다음과 같이 수정한다.
export ZEPPELIN_LOG_DIR=${ZEPPELIN_HOME}/loggg # Where log files are stored. PWD by default.
제플린을 다시 실행해보자
pwd
ll
cd loggg
ll
pwd
로그의 위치가 바뀐다!
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] Zeppelin 사용하여 여러가지 RDD 만드는 방법 parallelize 사용 (0) | 2022.04.15 |
---|---|
[Spark] Zeppelin 실행시 초기 로그 확인하기 (0) | 2022.04.15 |
[Spark] Apache Spark + Apache Zeppelin 실행하기 (0) | 2022.04.15 |
[Spark] Stand-Alone 실행 중 Master 컨테이너 중지 후 실행 (0) | 2022.04.15 |
[Spark] spark-shell, spark-submit 실행시 --num-executors 에 대한 확인 (0) | 2022.04.13 |