EMR JVM 모니터링Amazon EMR 클러스터에서 Spark, Hadoop, YARN 등과 같은 JVM 기반 프로세스를 실시간으로 모니터링하기 위해서는 크게 다음과 같은 방법이 있음. 1. JMX 기반의 직접 모니터링2. Ganglia, CloudWatch, Datadog 등 외부 툴/에이전트를 통한 모니터링3. Spark UI, YARN UI와 같은 내장 모니터링 인터페이스를 혼합하여 사용하는 방법 JMX 기반 실시간 모니터링 : JMX 개요JVM 내부 Heap 사용량, GC(가비지 컬렉션) 이벤트, 스레드 정보 등 다양한 메트릭을 실시간으로 노출하는 표준 인터페이스.com.sun.management.jmxremote 등의 JVM 옵션을 통해 원격에서 모니터링 도구(VisualVM, JConsole..
SPARK_DAEMON_JAVA_OPTSSPARK_DAEMON_JAVA_OPTS는 Spark의 “데몬 프로세스(daemon processes)”에 적용될 JVM 옵션을 지정하는 환경 변수임.여기서 “데몬 프로세스”란 Spark Master, Spark Worker, Spark History Server 등과 같이 장기간 동작하면서 클러스터/작업을 관리하거나 모니터링하는 Spark의 백그라운드 프로세스를 말함.Spark Driver나 Executor 프로세스와는 별도로, Spark 클러스터 자체를 운영하기 위한 프로세스에 적용되는 설정이라는 점이 핵심임. SPARK_DAEMON_JAVA_OPTS의 역할1. Spark 마스터와 워커, 히스토리 서버 등에 공통적으로 적용Spark에는 Master, Worker..
파이썬으로 EMR 클러스터 생성AWS에서 EMR Spark 클러스터를 생성하는 가장 대표적인 방법은 boto3(AWS SDK for Python)를 사용하는 것임.이때, run_job_flow 메서드를 통해 EMR 클러스터를 손쉽게 생성할 수 있음.아래 예시는 기본적인 Spark 클러스터를 파이썬 코드로 구성하는 예시임. 사전 준비 사항1. AWS CLI 설정로컬 환경에서 AWS CLI를 설치하고, aws configure 명령어를 통해 자격 증명(AWS Access Key ID, Secret Access Key)과 기본 리전을 설정해야 함.또는, EC2 인스턴스 등에서 IAM Role을 통해 호출할 수도 있음.이 경우 별도의 키 설정이 필요 없음. 2. boto3 설치pip install boto3 3..
EMR의 유형별 노드AWS EMR(Amazon Elastic MapReduce) 클러스터는 다음 세 가지 유형의 노드로 구성됨. 1. 프라이머리 노드(Primary Node)2. 코어 노드(Core Node)3. 태스크 노드(Task Node) 여기서 각 노드는 Hadoop/Spark 등 다양한 빅데이터 프레임워크를 실행하는 데 필요한 역할을 분담함.클러스터 운영 및 확장/축소에도 중요한 영향을 미침. 프라이머리 노드 : 주요 역할1. 클러스터 전반 제어 및 코디네이션프라이머리 노드는 클러스터를 제어하고 관리하는 핵심 역할을 수행함.전통적인 용어로는 "마스터 노드(Master Node)"라고도 하며, 아래와 같은 주요 프로세스를 실행함. Hadoop YARN ResourceManager: 전체 클러스터에..
EMRAmazon EMR(Amazon Elastic MapReduce)는 AWS(Amazon Web Services) 상에서 대규모 데이터를 신속하고 경제적으로 처리하기 위한 분산 처리 플랫폼임.Apache Hadoop, Spark, Hive, HBase 등 다양한 오픈 소스 분석 엔진과 서비스를 실행할 수 있도록 관리형 클러스터를 제공하므로, 빅데이터 워크로드를 안정적으로 운영하고 민첩하게 확장할 수 있는 것이 특징임. 핵심 개념 및 아키텍처 : AWS EMR의 구성 요소1. 클러스터(Cluster)AWS EMR에서는 “클러스터”라는 단위로 데이터 처리를 수행함.클러스터는 하나의 마스터 노드(Master Node), 0개 이상의 코어 노드(Core Node), 0개 이상의 태스크 노드(Task Node..
IstioIstio는 클라우드 네이티브 애플리케이션에서 마이크로서비스 아키텍처를 관리하기 위해 설계된 서비스 메쉬 플랫폼임.Istio는 서비스 간 통신, 트래픽 관리, 보안, 관찰 가능성 등을 지원하여 복잡한 분산 시스템의 운영을 단순화함. Istio의 기본 개념1. 서비스 메쉬서비스 메쉬는 애플리케이션 레벨에서 네트워크 통신을 관리하기 위한 레이어임.각 서비스 간 통신을 추상화하고 제어할 수 있게 함.Istio는 서비스 메쉬의 대표적인 구현체로, 서비스 간 데이터 플레인과 제어 플레인을 제공함. 2. 주요 목표A. 트래픽 관리: 서비스 간 트래픽 라우팅, 로드 밸런싱, 장애 복구 등 제어.B. 보안: 서비스 간 통신 암호화(TLS) 및 인증/인가 제공.C. 관찰 가능성: 서비스 메트릭, 로그, 트레이싱..
EKS Add-onAmazon EKS의 Add-on은 Kubernetes 클러스터에서 자주 사용되는 확장 기능이나 도구를 AWS에서 관리하고 자동으로 배포, 업데이트, 운영할 수 있도록 제공하는 서비스임.일반적으로 Kubernetes의 핵심 기능을 보완하거나 확장하기 위해 설치하는 애드온(Add-on)을 AWS 환경에 맞게 최적화하여 제공함.이를 통해 운영자는 직접 설치와 관리를 줄이고 더 안정적이고 일관된 환경을 구성할 수 있음. EKS Add-on의 주요 특징1. AWS 관리애드온 설치 및 업데이트는 AWS가 관리하므로 사용자는 Kubernetes 클러스터 관리 부담을 줄일 수 있음.최신 버전 관리 및 호환성 테스트가 AWS에 의해 이루어짐. 2. 통합 관리EKS 콘솔, CLI 또는 API를 통해 애..
EKS와 Secrets Manager 통합Amazon EKS와 AWS Secrets Manager를 통합하여 Kubernetes 클러스터에서 민감한 데이터를 안전하게 관리하는 방법은 다음과 같음.이 과정은 Kubernetes 애플리케이션에서 Secrets Manager에 저장된 비밀(예: 데이터베이스 자격 증명, API 키 등)을 안전하게 사용하도록 설정하는 단계로 구성됨. Secrets Manager에 비밀 저장1. AWS 콘솔에서 Secrets Manager로 이동.2. 비밀 생성(Create Secret) 버튼 클릭.3. 비밀 유형 선택 (예: "Other type of secrets" 또는 "Credentials for RDS database").4. 비밀 키와 값을 입력하거나 JSON 형식으로 ..
eksctl 설치 방법eksctl은 AWS Elastic Kubernetes Service(EKS)를 간편하게 관리할 수 있도록 설계된 명령줄 도구임. 사전 요구 사항eksctl을 사용하려면 다음 환경이 필요함.1. AWS CLI설치 및 구성 필요 (AWS 계정 및 인증 정보 설정) 2. kubectlKubernetes 클러스터 관리 도구 3. Go (Optional)소스에서 eksctl을 빌드하려는 경우 필요 운영 체제 호환성eksctl은 다음 운영 체제를 지원함.1. macOS2. Linux (Ubuntu, Debian 등)3. Windows (WSL 포함) 설치 방법 - Homebrew (macOS, Linux)가장 간단한 설치 방법은 Homebrew를 사용하는 것임.1. Homebrew 업데이트..
AWS EKSAmazon EKS는 AWS에서 제공하는 관리형 Kubernetes 서비스임.EKS는 사용자가 컨테이너화된 애플리케이션을 쉽게 배포, 관리, 확장할 수 있도록 지원하며, Kubernetes 클러스터를 AWS 클라우드 환경 및 온프레미스 환경 모두에서 실행할 수 있도록 설계됨. AWS EKS 주요 특징1. 관리형 Kubernetes 제어 플레인EKS는 Kubernetes 제어 플레인을 관리함.이는 API 서버, etcd 데이터 저장소, 노드 통신 등을 포함하며 AWS에서 고가용성과 보안을 유지하면서 관리됨.사용자는 워커 노드만 관리하면 됨. 2. 자동화된 업그레이드 및 패치Kubernetes 버전 업데이트 및 패치가 자동으로 이루어져 최신 상태와 보안 패치를 유지할 수 있음. 3. AWS 통합..
