[Kubernetes] k8s, PGBouncer 개념

PGBouncer

PGBouncer는 PostgreSQL의 경량 프록시 및 연결 풀링(connection pooling) 솔루션임.

PostgreSQL은 연결 생성 및 관리에 리소스를 소모하기 때문에 많은 애플리케이션이 짧고 빈번한 데이터베이스 연결을 사용하는 경우 성능 저하를 겪을 수 있음.

PGBouncer는 이러한 문제를 해결하며, 쿠버네티스 환경에서 매우 유용하게 활용됨.

 

PGBouncer의 주요 역할

1. 연결 풀링

데이터베이스 연결을 재사용하여 연결 수를 최소화.

max_connections 제한이 있는 PostgreSQL의 연결 병목을 완화.

 

2. 로드 밸런싱

여러 클라이언트 연결을 단일 연결로 병합하여 서버 부하 감소.

 

3. 데이터베이스 보안

PGBouncer를 통해 데이터베이스를 간접적으로 노출시킴으로써, 클라이언트가 직접 데이터베이스에 접근하지 못하게 함.

 

4. 속도와 경량성

매우 가벼운 메모리 및 CPU 사용량으로 고성능 연결 관리 제공.

 

PGBouncer의 쿠버네티스 배포 구성 요소

1. Deployment

PGBouncer의 레플리카를 관리하며, 고가용성을 위해 여러 Pod로 구성 가능.

 

2. ConfigMap

PGBouncer의 설정 파일(pgbouncer.ini, userlist.txt)을 관리.

 

3. Secret

데이터베이스 연결 정보(예: PostgreSQL 비밀번호)를 보안적으로 관리.

 

4. Service

클러스터 내에서 PGBouncer에 안정적인 엔드포인트를 제공.

 

5. Horizontal Pod Autoscaler

PGBouncer의 트래픽 부하에 따라 Pod를 자동으로 확장.

 

PGBouncer 설정 파일 (pgbouncer.ini)

PGBouncer의 동작은 pgbouncer.ini로 설정됨.

 

1. 기본 설정

[databases]
mydb = host=postgres-db-host port=5432 dbname=mydb user=pguser password=pgpassword

[pgbouncer]
listen_addr = 0.0.0.0
listen_port = 5432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
pool_mode = transaction
max_client_conn = 100
default_pool_size = 20

 

2. 설명

2-1. [databases]

PostgreSQL 데이터베이스 연결 정보를 정의.

 

2-2. listen_addr

PGBouncer가 클라이언트 요청을 받을 주소. 일반적으로 0.0.0.0 사용.

 

2-3. auth_type

인증 방식 설정. 일반적으로 md5나 trust 사용.

 

2-4. pool_mode

연결 풀링 모드 설정.

session: 세션 단위로 연결.

transaction(권장): 트랜잭션 단위로 연결.

statement: 각 쿼리 실행마다 연결.

 

2-5. max_client_conn:

PGBouncer가 처리할 수 있는 최대 클라이언트 연결 수.

 

2-6. default_pool_size:

데이터베이스당 연결 풀 크기.

 

쿠버네티스 배포 단계

1. ConfigMap 생성

PGBouncer 설정 파일을 쿠버네티스의 ConfigMap으로 정의함.

apiVersion: v1
kind: ConfigMap
metadata:
  name: pgbouncer-config
data:
  pgbouncer.ini: |
    [databases]
    mydb = host=postgres-db-host port=5432 dbname=mydb user=pguser password=pgpassword

    [pgbouncer]
    listen_addr = 0.0.0.0
    listen_port = 5432
    auth_type = md5
    auth_file = /etc/pgbouncer/userlist.txt
    pool_mode = transaction
    max_client_conn = 100
    default_pool_size = 20

  userlist.txt: |
    "pguser" "md5hashedpassword"

 

2. Secret 생성

PostgreSQL 비밀번호와 같은 민감한 정보를 Secret으로 관리함.

kubectl create secret generic pgbouncer-secret \
  --from-literal=DB_PASSWORD=mysecurepassword

 

3. Deployment 생성

PGBouncer를 실행할 Pod를 정의함.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: pgbouncer
spec:
  replicas: 2
  selector:
    matchLabels:
      app: pgbouncer
  template:
    metadata:
      labels:
        app: pgbouncer
    spec:
      containers:
        - name: pgbouncer
          image: edoburu/pgbouncer:latest
          ports:
            - containerPort: 5432
          env:
            - name: DB_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: pgbouncer-secret
                  key: DB_PASSWORD
          volumeMounts:
            - name: config-volume
              mountPath: /etc/pgbouncer
      volumes:
        - name: config-volume
          configMap:
            name: pgbouncer-config

 

4. Service 생성

PGBouncer에 대한 클러스터 내부 및 외부의 안정적인 엔드포인트를 제공함.

apiVersion: v1
kind: Service
metadata:
  name: pgbouncer
spec:
  type: ClusterIP
  ports:
    - port: 5432
      targetPort: 5432
  selector:
    app: pgbouncer

 

운영 및 모니터링

1. 모니터링

PGBouncer는 메트릭스를 제공하며, SHOW POOLS, SHOW STATS 같은 명령으로 상태를 확인할 수 있음.

Prometheus 및 Grafana를 사용하여 연결 풀 상태를 시각화.

 

2. 로깅

PGBouncer 로그를 중앙화된 로깅 시스템(예: ELK 스택)으로 전송하여 분석.

 

3. 튜닝

max_client_conn 및 default_pool_size를 트래픽 패턴에 맞게 최적화.

연결 풀링 모드(pool_mode)를 트랜잭션(transaction)으로 설정하는 것이 대부분의 애플리케이션에 적합.

 

고급 설정

1. 멀티 데이터베이스 연결

여러 데이터베이스를 지원하도록 pgbouncer.ini의 [databases] 섹션에 다중 정의

[databases]
db1 = host=db1-host port=5432 dbname=db1 user=pguser password=pgpassword
db2 = host=db2-host port=5432 dbname=db2 user=pguser password=pgpassword

 

2. TLS 지원

 

TLS를 활성화하여 안전한 데이터 전송을 보장.

PGBouncer 컨테이너에 인증서와 키를 마운트하고 설정 파일에 추가

[pgbouncer]
tls_key_file = /path/to/key.pem
tls_cert_file = /path/to/cert.pem

 

 

3. 수평 확장

Horizontal Pod Autoscaler(HPA)를 활용하여 PGBouncer Pod를 동적으로 확장.

 

PGBouncer의 한계

1. 읽기/쓰기 분리 미지원

PGBouncer는 단순 연결 풀링을 제공하며 읽기/쓰기 분리를 직접 지원하지 않음.

이를 위해 Pgpool-II 또는 애플리케이션 레벨 라우팅을 병행해야 함.

 

2. 리소스 제한

지나치게 많은 클라이언트 연결이 있을 경우 PGBouncer 자체가 병목이 될 수 있음.

 

3. 복잡성 증가

연결 풀링 구성 및 모니터링 추가로 인해 관리 오버헤드가 증가할 수 있음.

 

PGBouncer 정리

쿠버네티스 환경에서 PGBouncer는 PostgreSQL 연결 관리 문제를 해결하고 성능을 향상시키는 강력한 도구임.

올바른 설정 및 모니터링을 통해 안정적인 데이터베이스 연결을 유지할 수 있음.