[Kafka] 아파치 카프카란?

아파치 카프카란?

아파치 카프카는 분산 데이터 스트리밍 플랫폼으로, 대용량의 실시간 데이터 스트림을 처리하는 데 사용됩니다. 카프카는 대규모 데이터 센터에서 생성되는 대규모 데이터 스트림을 안정적으로 처리할 수 있습니다.

카프카의 구조는 브로커(broker)와 토픽(topic), 파티션(partition)으로 구성됩니다. 브로커는 카프카 클러스터 내에서 데이터를 저장하고 처리하는 역할을 합니다. 토픽은 데이터가 저장되는 논리적인 단위이며, 파티션은 토픽 내에서 데이터를 저장하는 물리적인 단위입니다. 각 파티션은 여러 대의 브로커에 걸쳐 분산되어 데이터 손실을 방지하고 성능을 향상시킵니다.

카프카의 주요 특징은 다음과 같습니다.
- 스케일 아웃: 클러스터를 추가하여 선형적으로 확장이 가능합니다.
- 고성능: 초당 수백만 건의 메시지를 처리할 수 있습니다.
- 내고장성: 데이터 중복 및 손실을 방지하기 위한 복제 및 장애 대응 기능이 내장되어 있습니다.
- 실시간 처리: 대용량의 데이터 스트림을 실시간으로 처리할 수 있습니다.
- 유연성: 다양한 언어 및 프로토콜을 지원하며, 다양한 환경에서 실행할 수 있습니다.

카프카는 다양한 분야에서 사용되며, 특히 대규모 데이터 처리 및 스트리밍 분석에 활용됩니다. 예를 들어, 온라인 광고, 센서 데이터, 로그 데이터, IoT 데이터 등의 처리에 많이 사용됩니다.

 

메세지큐 시스템이란?

메시지 큐(Message Queue) 시스템은 분산 시스템에서 비동기적으로 메시지를 주고받을 수 있도록 지원하는 소프트웨어 시스템입니다. 메시지 큐 시스템은 메시지 브로커(Message Broker)와 클라이언트 라이브러리(Client Library)로 구성됩니다.

메시지 브로커는 메시지를 수신하고 보관하며, 이를 구독하는 클라이언트에게 전달합니다. 클라이언트는 메시지를 전송하거나 메시지를 수신하기 위해 브로커와 통신하며, 이를 위해 클라이언트 라이브러리를 사용합니다. 메시지 큐 시스템은 클라이언트와 브로커 간의 통신을 안정적으로 처리하고, 분산 시스템에서 메시지를 안전하게 전달할 수 있도록 보장합니다.

메시지 큐 시스템의 장점은 다음과 같습니다.
- 비동기 처리: 발신자와 수신자 간에 일시적인 부하 또는 장애가 발생해도 메시지 전달이 보장됩니다.
- 느슨한 결합: 발신자와 수신자 간의 의존성을 최소화하여 시스템의 유연성과 확장성을 향상시킵니다.
- 확장성: 메시지 큐 시스템은 수신자의 수나 크기를 동적으로 조절할 수 있으므로, 시스템의 확장성을 보장합니다.
- 안정성: 메시지 큐 시스템은 메시지 브로커를 통해 메시지를 안전하게 보관하고 전달하므로, 메시지 유실이나 중복을 방지합니다.

메시지 큐 시스템은 다양한 분야에서 사용됩니다. 예를 들어, 분산 시스템에서의 이벤트 처리, 백그라운드 작업 처리, 비동기 API 호출, 대규모 데이터 처리 등에서 활용됩니다. 대표적인 메시지 큐 시스템으로는 아파치 카프카, 래빗엠큐(RabbitMQ), 아마존 SQS(Amazon Simple Queue Service) 등이 있습니다.

 

아파치 카프카 동작의 예시

아파치 카프카는 대용량의 데이터를 신속하게 처리하기 위해 디자인된 분산 스트리밍 플랫폼입니다. 카프카의 동작 방식을 예시를 들면서 자세히 설명해보겠습니다.

예를 들어, 전자상거래 웹사이트에서 주문이 발생했다고 가정해봅시다. 이때, 주문 정보를 다른 시스템에 전달하고, 이를 기반으로 판매량을 집계하거나 재고 수량을 조정해야합니다.

이때, 아파치 카프카를 사용하여 주문 정보를 처리할 수 있습니다. 카프카는 다음과 같은 세 가지 주요 요소로 구성됩니다.

1. 프로듀서(Producer): 주문 정보를 카프카에 전송하는 시스템입니다.
2. 브로커(Broker): 메시지를 수신하고 저장하는 중간 역할을 하는 시스템입니다.
3. 컨슈머(Consumer): 카프카에서 주문 정보를 처리하는 시스템입니다.

주문 정보를 처리하는 시스템은 프로듀서 역할을 수행합니다. 이때, 주문 정보는 토픽(Topic)이라는 개념으로 관리됩니다. 예를 들어, "order-topic"이라는 토픽을 생성하여 주문 정보를 전송할 수 있습니다.

주문 정보를 전송하면, 브로커 역할을 수행하는 카프카가 이를 수신합니다. 브로커는 주문 정보를 처리하고, 이를 해당 토픽을 구독하는 컨슈머에게 전달합니다.

컨슈머는 토픽을 구독하여 주문 정보를 처리합니다. 예를 들어, 주문 정보를 이용하여 판매량을 집계하거나 재고 수량을 조정하는 시스템입니다.

이러한 방식으로, 아파치 카프카는 프로듀서와 컨슈머 간의 느슨한 결합과 분산 처리를 지원하여 대용량 데이터의 처리와 분산 시스템의 유연성을 보장합니다. 또한, 카프카는 데이터를 안전하게 보관하고, 장애 발생 시 자동으로 복구하는 기능을 제공하여 안정성을 보장합니다.

 

아파치 카프카의 동작

아파치 카프카는 분산 스트리밍 플랫폼으로, 대용량의 데이터를 처리하고 저장하는 데에 사용됩니다. 이를 위해 카프카는 다음과 같은 구성 요소로 이루어져 있습니다.

1. 프로듀서(Producer): 데이터를 생성하고, 카프카에 전송하는 시스템입니다.
2. 브로커(Broker): 메시지를 수신하고 저장하는 중간 역할을 하는 시스템입니다.
3. 토픽(Topic): 데이터의 카테고리를 나타내는 개념입니다. 데이터는 토픽 단위로 관리됩니다.
4. 파티션(Partition): 토픽을 분할하여 여러 브로커에 저장할 수 있도록 하는 개념입니다.
5. 컨슈머(Consumer): 카프카에서 데이터를 읽어와 처리하는 시스템입니다.

카프카는 데이터를 브로커에 저장합니다. 이때, 데이터는 토픽별로 관리됩니다. 프로듀서는 데이터를 생성하고, 해당 토픽에 대해 메시지를 전송합니다. 이때, 메시지는 브로커에서 파티션 단위로 저장됩니다.

파티션은 여러 브로커에 분산하여 저장됩니다. 이렇게 함으로써, 카프카는 대용량의 데이터를 처리하고 저장할 수 있습니다. 또한, 파티션을 사용하면 병렬 처리가 가능해져서 처리 속도가 높아지게 됩니다.

컨슈머는 해당 토픽에서 메시지를 읽어와 처리합니다. 이때, 컨슈머는 파티션을 구독하여 메시지를 읽어오게 됩니다. 이를 위해, 컨슈머 그룹(Consumer Group)이라는 개념이 사용됩니다. 같은 컨슈머 그룹에 속한 여러 컨슈머가 하나의 토픽을 구독할 수 있으며, 각 컨슈머는 다른 파티션을 처리하게 됩니다.

카프카는 대용량의 데이터를 안전하게 저장하고, 복구 및 확장이 용이하도록 설계되어 있습니다. 따라서, 데이터 처리 및 분산 시스템의 유연성을 보장할 수 있습니다.

 

아파치 카프카의 브로커

아파치 카프카의 브로커(Broker)는 메시지를 수신하고, 저장하는 중간 역할을 하는 시스템입니다. 브로커는 카프카 클러스터의 구성 요소 중 하나로서, 여러 대의 브로커가 함께 동작하여 대용량의 데이터를 처리하고 저장할 수 있습니다.

브로커는 다음과 같은 기능을 수행합니다.

1. 메시지 저장: 프로듀서로부터 전송된 메시지를 수신하고, 해당 메시지를 저장합니다. 메시지는 토픽(topic) 단위로 저장됩니다. 각 토픽은 여러 개의 파티션(partition)으로 나뉘어져 저장됩니다.

2. 메시지 전달: 컨슈머가 요청하는 메시지를 전송합니다. 컨슈머는 브로커에게 메시지의 시작 위치(offset)를 지정하여 원하는 위치의 메시지를 수신할 수 있습니다.

3. 클러스터 관리: 클러스터 내에서 브로커들의 상태를 모니터링하고, 각 브로커의 역할을 관리합니다. 브로커 중 하나가 고장이 발생하면, 다른 브로커들이 해당 브로커의 역할을 대신 수행하여 데이터 유실을 방지합니다.

4. 보안: 카프카는 SSL, SASL 등의 보안 기능을 지원하여 메시지 전송 과정에서 데이터의 안전성을 보장합니다.

브로커는 대용량의 데이터를 안전하게 저장하고, 분산 처리를 가능하게 해줍니다. 또한, 브로커는 클러스터 내에서의 메시지 전달과 관리를 담당하여 카프카의 안정성과 신뢰성을 보장합니다.

 

아파치 카프카의 파티션

아파치 카프카에서 파티션(Partition)은 토픽(Topic)을 물리적으로 분할한 단위입니다. 파티션은 메시지를 안전하게 저장하고 처리하기 위해 필요한 기능을 제공합니다.

파티션은 다음과 같은 특징을 가집니다.

1. 분산 처리: 하나의 토픽은 여러 개의 파티션으로 분할될 수 있습니다. 이렇게 분할된 파티션은 각각의 브로커에 저장됩니다. 이렇게 파티션을 분산하여 처리하면, 전체 데이터를 하나의 브로커에 집중하여 처리하는 것보다 처리 속도와 안정성을 보장할 수 있습니다.

2. 순서 보장: 파티션은 메시지의 순서를 보장합니다. 즉, 같은 파티션에 저장된 메시지는 순서대로 처리됩니다. 이러한 특성은 분산 시스템에서 여러 노드에서 메시지를 처리하고 저장할 때 중요합니다.

3. 확장성: 파티션은 토픽의 용량을 확장하는데에도 이용됩니다. 토픽의 용량이 커지면, 파티션의 수를 늘려서 처리 능력을 확장할 수 있습니다.

4. 메시지 보존: 파티션은 메시지를 안전하게 저장합니다. 각 파티션은 별도의 디스크 공간을 가지며, 메시지는 파티션 내에서 순서대로 저장됩니다.

파티션은 다른 파티션과 독립적으로 동작하며, 각 파티션은 메시지의 순서를 보장합니다. 이러한 특징은 분산 시스템에서 메시지 처리와 관련된 많은 문제를 해결해줍니다. 파티션은 카프카에서 중요한 역할을 수행하며, 데이터 처리의 효율성과 신뢰성을 보장합니다.

 

아파치 카프카의 옵셋

아파치 카프카에서 옵셋(Offset)은 특정 파티션의 메시지 중 어디까지 소비하였는지를 나타내는 값입니다. 각 컨슈머는 자신이 소비한 메시지의 옵셋 값을 추적하여, 다음에 소비할 메시지의 위치를 파악합니다.

옵셋은 다음과 같은 특징을 가집니다.

1. 유일성: 옵셋은 특정 파티션의 메시지 중에서 어디까지 소비하였는지를 나타내므로, 유일한 값을 가집니다.

2. 불변성: 옵셋은 생성된 이후에는 변경되지 않습니다. 즉, 옵셋은 항상 컨슈머가 마지막으로 소비한 메시지의 위치를 가리킵니다.

3. 선형성: 옵셋은 각 파티션에서 메시지가 순차적으로 저장되는 것을 전제로 하므로, 선형적인 값으로 증가합니다.

옵셋은 컨슈머가 메시지를 처리할 때 중요한 역할을 합니다. 컨슈머는 자신이 소비한 메시지의 옵셋 값을 추적하여, 다음에 소비할 메시지의 위치를 파악합니다. 이렇게 하면, 컨슈머가 중복된 메시지를 처리하는 것을 방지할 수 있습니다. 또한, 컨슈머가 이전에 처리한 메시지를 다시 처리하지 않도록 하여, 처리 성능을 향상시킬 수 있습니다.

옵셋은 카프카에서 중요한 개념 중 하나이며, 데이터 처리의 신뢰성과 효율성을 보장하는 데에 큰 역할을 합니다.

 

아파치 카프카 옵셋 관련 에러

아파치 카프카에서 옵셋(Offset)과 관련된 에러 중 가장 일반적인 것은 "Offset Out Of Range" 에러입니다. 이 에러는 컨슈머가 파티션에서 유효한 옵셋 범위를 벗어난 값을 요청했을 때 발생합니다.

보통 컨슈머는 파티션에서 가장 마지막으로 소비한 메시지의 옵셋 값을 추적하고, 이 값을 기반으로 다음에 소비할 메시지의 위치를 파악합니다. 그러나 만약 컨슈머가 유효한 옵셋 범위를 벗어난 값을 요청하면, 카프카 브로커는 "Offset Out Of Range" 에러를 반환합니다.

이 에러는 다양한 원인으로 발생할 수 있습니다. 예를 들어, 컨슈머가 파티션에서 삭제된 메시지의 옵셋 값을 요청한 경우에도 이 에러가 발생합니다. 또한, 컨슈머가 이전에 소비하지 않은 메시지의 옵셋 값을 요청할 수도 있습니다. 이 경우에도 옵셋 범위를 벗어난 값이므로, "Offset Out Of Range" 에러가 발생합니다.

이러한 에러를 방지하기 위해서는, 컨슈머가 유효한 옵셋 범위 내에서 메시지를 소비하도록 해야 합니다. 컨슈머가 파티션에서 가장 마지막으로 소비한 메시지의 옵셋 값을 추적하고, 이 값을 기반으로 다음에 소비할 메시지의 위치를 파악하는 것이 중요합니다. 또한, 컨슈머가 소비할 파티션과 메시지 옵셋 값을 정확히 지정하는 것도 중요합니다.

 

카프카 클러스터 실행 중 브로커 재시작

카프카 클러스터에서 브로커 재시작은 클러스터 전체에 영향을 미칩니다. 브로커 재시작을 수행하는 경우, 해당 브로커가 일시적으로 다운되어 클러스터에서 분리됩니다. 그리고 해당 브로커에서 실행 중인 파티션 리더가 다른 브로커로 이전됩니다. 이 과정에서 일시적으로 메시지 전달 지연이 발생할 수 있습니다.

브로커 재시작 절차는 아래와 같습니다.

1. 브로커 다운: 재시작을 시작하기 전에, 해당 브로커를 클러스터에서 다운시킵니다.

2. 파티션 리더 이전: 브로커가 다운됨으로써 리더가 없어진 파티션은 ISR(In-Sync Replicas) 목록에서 벗어나게 됩니다. 이후 클러스터에서 해당 파티션 리더를 다시 선출하기 위해 ISR에서 파티션 리더 후보를 선출하고, 새로운 파티션 리더를 지정합니다.

3. 브로커 재시작: 리더 이전이 완료된 후, 해당 브로커를 재시작합니다. 브로커가 다시 가동되면, 클러스터에서 파티션 리더 후보로 다시 참여하게 됩니다.

4. ISR 업데이트: 브로커가 다시 클러스터에 참여하면, 해당 브로커의 ISR 목록을 업데이트합니다. 즉, 브로커가 다운됨으로써 벗어났던 ISR 목록에 다시 추가됩니다.

브로커 재시작 시간은 클러스터 규모와 데이터 복잡도에 따라 다를 수 있습니다. 일반적으로 브로커 재시작 중에 메시지 손실은 발생하지 않습니다. 그러나 브로커 재시작 도중에 메시지 전달 지연이 발생할 수 있으므로, 이를 고려하여 시스템 디자인 및 운영 계획을 수립하는 것이 중요합니다.

 

카프카 클러스터에 브로커를 추가하는 방법

카프카 클러스터에서 브로커를 추가하는 방법은 다음과 같습니다.

1. 새로운 브로커를 실행합니다. 카프카 설치 디렉토리에서 `config/server.properties` 파일을 수정하여 새로운 브로커에 대한 설정을 지정할 수 있습니다. 예를 들어, `broker.id` 설정을 고유한 값으로 지정해야 합니다. 또한, 클러스터의 브로커들과 같은 `zookeeper.connect`와 같은 설정을 공유해야 합니다.

2. 새로운 브로커가 클러스터에서 인식될 수 있도록 ZooKeeper에 등록합니다. ZooKeeper는 카프카 클러스터의 메타데이터를 저장하고 브로커들 간의 통신을 관리합니다. 새로운 브로커를 추가하려면 ZooKeeper에 새로운 브로커의 정보를 등록해야 합니다.

3. 새로운 브로커가 클러스터에서 파티션 리더로서 역할을 수행할 수 있도록 지정합니다. 새로운 브로커가 클러스터에 참여한 후에는 클러스터에서 파티션 리더로서 역할을 수행할 수 있습니다. 파티션 리더 후보로 참여하기 위해서는 `advertised.listeners` 설정을 새로운 브로커의 호스트 및 포트로 지정해야 합니다.

4. 클러스터에서 새로운 브로커를 검증합니다. 새로운 브로커가 클러스터에서 파티션 리더 후보로 참여할 수 있게 되면, 브로커가 클러스터에 올바르게 추가되었는지 확인해야 합니다. `kafka-topics.sh` 명령어를 사용하여 토픽의 파티션 리더를 새로운 브로커로 이전할 수 있습니다.

새로운 브로커를 추가하는 과정에서는 클러스터 전체에 영향을 미치지 않습니다. 그러나 클러스터가 동작 중인 경우, 파티션 리더 후보로 참여하기 위해 새로운 브로커가 ISR(In-Sync Replicas) 목록에 들어가기 전까지 일시적인 메시지 전달 지연이 발생할 수 있습니다. 또한, 새로운 브로커를 추가할 때는 클러스터의 장애 복구 및 확장을 고려하여 계획을 수립해야 합니다.