Database/Redis
2021.12.26
1. 도커컴포즈 파일 작성 docker-compose.yml version: '3.0' services: redis: hostname: redis container_name: redis image: redis:6.2.6 command: redis-server --requirepass mypassword --port 6379 ports: - 6379:6379 도커 컴포즈 실행 docker-compose up -d 도커 컨테이너 실행여부 확인 docker ps 2. 레디스 컨테이너 접속 컨테이너 접속해보자 docker exec -it redis bash 도커컴포즈 파일에 보면 내 레디스 비밀번호는 mypassword 이다. 컨테이너상에서 레디스 버전을 확인하려면 info명령어로 확인할 수 있다. redis-..
Database/Redis
2021.12.26
1. 도커 컴포즈 파일 작성 docker-compose.yml version: '3.0' services: redis: hostname: redis container_name: redis image: redis:6.2.6 command: redis-server --requirepass mypassword --port 6379 ports: - 6379:6379 레디스의 비밀번호는 mypassword 이다. 도커 컴포즈 실행 docker-compose up -d 컨테이너 실행 중인지 확인 docker ps 2. 레디스 접속 레디스 컨테이너에 접속해보자 docker exec -it redis bash redis-cli 접속 명령어 입력해보자 redis-cli 접속됐다! 기본 설정을 확인하는 info 명령어를 ..
Data Engineering/Kafka
2021.12.26
1. 도커 컴포즈 파일 작성 docker-compose.yml version: '3' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENE..
Data Engineering/Kafka
2021.12.26
1. 도커 컴포즈 파일을 작성한다. docker-compse.yml version: '3' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LIST..
Data Engineering/Kafka
2021.12.26
1. 도커 컴포즈 파일 작성 docker-compose.yml 파일을 작성한다 version: '3' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFK..
Data Engineering/Kafka
2021.12.23
컨테이너 확인을 위해 도커컴포즈 파일을 만든다 docker-compose.yml version: '3' services: # zookeeper 3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # kafka 2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://..
Data Engineering/Kafka
2021.12.23
도커컴포즈 파일을 작성해보자 docker-compose.yml version: '2' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 - broker 1 kafka1: hostname: kafka1 container_name: kafka1 image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:..
Data Engineering/Kafka
2021.12.23
먼저 docker-compose.yml 파일을 작성한다. docker-compose.yml version: '2' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 - broker 1 kafka1: hostname: kafka1 container_name: kafka1 image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CON..
Data Engineering/Kafka
2021.12.23
1. 도커 컴포즈 파일 만들기 docker-compose.yml version: '2' services: # zookeeper 3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # # kafka 2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://0.0.0.0..
Data Engineering/Kafka
2021.12.19
데이터의 의미가 정적인 의미에서 동적인 의미로 변경되는 중 카프카의 구성 요소 브로커 : 카프카 저장소의 노드 역할 토픽 : 데이터 임시 저장소 역할 파티션 : 고가용성을 위한 복제 역할 주키퍼 : 컨트롤러 역할 (리더 역할하는 파티션을 선정) 프로듀서 : (카프카에) 데이터 전송 구간 컨슈머 : (카프카의) 데이터 이용 구간