Data Engineering/Kafka

Data Engineering/Kafka

[kafka] 도커컴포즈로 멀티노드 카프카 만드는 방법 (docker compose, kafka, zookeeper)

먼저 docker-compose.yml 파일을 작성한다. docker-compose.yml version: '2' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 - broker 1 kafka1: hostname: kafka1 container_name: kafka1 image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CON..

Data Engineering/Kafka

[kafka] 도커컴포즈로 싱글노드 카프카 만드는 방법 (docker compose, single, kafka, zookeeper)

1. 도커 컴포즈 파일 만들기 docker-compose.yml version: '2' services: # zookeeper 3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # # kafka 2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://0.0.0.0..

Data Engineering/Kafka

[kafka] 카프카의 구성요소

데이터의 의미가 정적인 의미에서 동적인 의미로 변경되는 중 카프카의 구성 요소 브로커 : 카프카 저장소의 노드 역할 토픽 : 데이터 임시 저장소 역할 파티션 : 고가용성을 위한 복제 역할 주키퍼 : 컨트롤러 역할 (리더 역할하는 파티션을 선정) 프로듀서 : (카프카에) 데이터 전송 구간 컨슈머 : (카프카의) 데이터 이용 구간

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 3

1. 카프카 설치 위치로 이동 cd /opt/kafka 2. 주키퍼 실행상태 확인 service zookeeper status 3. 카프카 실행상태 확인 service kafka status 4. result라는 이름을 가진 토픽 생성 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic result 5. 전체 토픽 조회 ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 6. result 토픽 상세조회 ./bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic result 7. 토픽에 프로듀서..

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 2

1. 카프카 설치 경로로 이동 cd /opt/kafka 2. 주키퍼 실행 상태 확인 service zookeeper status 3. 카프카 실행 상태 확인 service kafka status 4. 카프카 토픽 전체 확인 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 5. test 라는 이름을 가진 토픽 만들기 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic test 6. 전체 토픽 조회하기 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 7. 토픽 상세보기 ./bin/kafka-topics.sh --describe ..

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 1

1. 주키퍼 실행 확인 service zookeeper status 2. 카프카 실행 상태 확인 service kafka status 3. 카프카 설치된 곳으로 이동하기 cd /opt cd kafka 4. 전체 토픽 확인하기 ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list 5. test 이름을 가진 토픽 만들기 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 6. 토픽 전체 조회하기 ./bin/kafka-topics.sh --bootstrap-server localhost:9092 -..

Data Engineering/Kafka

[kafka] 카프카 명령어 모음 Kafka Command Collection

주키퍼 실행 ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 카프카 실행 ./bin/kafka-server-start.sh -daemon config/server.properties 토픽 생성 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 토픽 리스트 확인 ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 토픽 상세보기 ./bin/kafka-topics.sh --describe --bootstrap-server ..

박경태
'Data Engineering/Kafka' 카테고리의 글 목록 (4 Page)