[spark] spark-prometheus-grafana 대시보드 정리

 

Step 1) 

Spark의 conf 폴더에서 metrics.properties 파일 생성 후 다음 내용 작성

*.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet
*.sink.prometheusServlet.path=/metrics/prometheus
master.sink.prometheusServlet.path=/metrics/master/prometheus
applications.sink.prometheusServlet.path=/metrics/applications/prometheus

 

Step 2) 

spark-submit 실행시 다음 명령어 추가

--conf spark.ui.prometheus.enabled=true

 

Step 3) 

프로메테우스 yml 파일 수정하여 수집

 

 

 

https://grafana.com/grafana/dashboards/7890

Apache Spark - Performance Metrics dashboard for Grafana | Grafana Labs

 

 

 

https://grafana.com/grafana/dashboards/16353

Spark Queries for Structured Streaming dashboard for Grafana | Grafana Labs