데이터 엔지니어

2022년 7월 1일 금 주식

[spark] spark-prometheus-grafana 대시보드 정리

Step 1) Spark의 conf 폴더에서 metrics.properties 파일 생성 후 다음 내용 작성 *.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet *.sink.prometheusServlet.path=/metrics/prometheus master.sink.prometheusServlet.path=/metrics/master/prometheus applications.sink.prometheusServlet.path=/metrics/applications/prometheus Step 2) spark-submit 실행시 다음 명령어 추가 --conf spark.ui.prometheus.enabled=tr..

[kafka] kafka-producer-perf-test 의 --record-size 옵션 확인해보기

토픽 만들기 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test --record-size 2000 으로 프로듀서 테스트 해보기 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 1 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094 토픽 읽기 kafka-console-consumer --b..

[kafka] 컨슈머 성능 테스트 하는 방법

토픽 생성 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test 프로듀서 테스트 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 100000 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094 컨슈머 테스트 kafka-consumer-perf-test --topic performance-t..

[kafka] 프로듀서 성능 테스트 하는 방법

토픽생성 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test 프로듀서 성능 테스트 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 100000 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094

[kafka] 카프카 실행 전후 주키퍼의 znode 확인하기

카프카 실행 전 docker-compose.yml version: '2.1' volumes: zookeeper-1-data: zookeeper-1-datalog: zookeeper-1-logs: zookeeper-2-data: zookeeper-2-datalog: zookeeper-2-logs: zookeeper-3-data: zookeeper-3-datalog: zookeeper-3-logs: kafka-1-data: kafka-1-secrets: kafka-2-data: kafka-2-secrets: kafka-3-data: kafka-3-secrets: services: zookeeper-1: hostname: zookeeper-1 container_name: zookeeper-1 image: zo..

[kafka] 주키퍼와 카프카의 모든 볼륨 마운트하기

docker-compose.yml version: '2.1' volumes: zookeeper-1-data: zookeeper-1-datalog: zookeeper-1-logs: zookeeper-2-data: zookeeper-2-datalog: zookeeper-2-logs: zookeeper-3-data: zookeeper-3-datalog: zookeeper-3-logs: kafka-1-data: kafka-1-secrets: kafka-2-data: kafka-2-secrets: kafka-3-data: kafka-3-secrets: services: zookeeper-1: hostname: zookeeper-1 container_name: zookeeper-1 image: zookeeper:3..

[kafka] 카프카의 메세지는 파티션이 1이면 순서가 보장된다.

kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 1 --topic mytopic-3-1 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic mytopic-3-3 kafka-topics --list --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 kafka-console-producer --broker-list kafka-1..

[kafka] 토픽 생성시 --replication-factor --partitions 확인하기

kafka-topics --list --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 1 --partitions 1 --topic mytopic-1-1 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 2 --partitions 2 --topic mytopic-2-2 kafka-topics --create --bootstrap-server kaf..

[kafka] Error while executing topic command : Replication factor: 4 larger than available brokers: 3.

카프카 브로커가 3개인데 레플리카 펙터가 4개인 토픽을 만들 때 발생하는 에러이다. [appuser@kafka-1 ~]$ kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 1 --partitions 1 --topic mytopic-1-1 Created topic mytopic-1-1. [appuser@kafka-1 ~]$ kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 2 --partitions 2 --topic mytopic-2-2 Create..