AWS EMRAWS EMR은 대규모 데이터 처리, 분석 및 머신러닝을 위해 설계된 관리형 클라우드 서비스임.AWS EMR은 특히 빅데이터 환경에서 많이 사용되며, Hadoop과 Apache Spark 같은 오픈 소스 프레임워크를 사용하여 데이터를 처리함. AWS EMR 핵심 기능1. 스케일링EMR은 수요에 따라 자동으로 클러스터 크기를 조정할 수 있어 사용자는 데이터 처리량에 맞게 자원을 유연하게 확장하거나 축소할 수 있음. 2. 다양한 프레임워크 지원EMR은 Apache Hadoop, Spark, HBase, Presto 등 다양한 빅데이터 프레임워크를 지원함.이는 다양한 유형의 데이터 처리 작업을 가능하게 함. 3. 비용 효율성사용자는 실제 사용한 컴퓨팅 리소스에 대해서만 비용을 지불함.또한, 스팟 ..
AWS AuroraAWS의 관리형 관계형 데이터베이스 서비스 중 하나임.MySQL, PostgreSQL과 호환되는 이 데이터베이스는 확장성, 내구성 및 성능을 강조함 AWS Aurora 특징1. 성능Aurora는 고성능을 제공함.여러 가용 영역에 걸쳐 데이터를 복제하고, SSD 기반 스토리지를 사용하여 빠른 I/O 성능을 제공함.자동화된 데이터베이스 캐시 및 스토리지 관리를 통해 응용 프로그램의 성능을 최적화함. 2. 확장성Aurora는 필요에 따라 자동으로 확장하고 축소할 수 있는 기능을 제공함.이를 통해 응용 프로그램의 요구 사항이 변경되어도 데이터베이스 성능을 유연하게 조정할 수 있음. 3. 내구성Aurora는 여러 가용 영역에 걸쳐 데이터를 복제하여 내구성을 보장함.이를 통해 하나의 가용 영역에서..
AWS EC2 Auto Scaling 이벤트 모니터링 방법다양한 도구와 서비스를 이용할 수 있음.가장 일반적으로는 AWS CloudWatch를 사용하여 이벤트를 모니터링하고 경고를 설정할 수 있음. 1. Amazon CloudWatch 설정AWS Management Console 에서 Amazon CloudWatch 서비스로 이동함.좌측 탐색 창에서 "Events"를 선택함. 2. 이벤트 생성"Create rule"을 클릭하여 새로운 이벤트 규칙을 생성함."Event Source"를 "EC2 Auto Scaling"으로 선택함.원하는 이벤트 패턴을 선택하거나 패턴을 직접 정의할 수 있음.예를 들어, EC2 인스턴스 시작, 종료, 실패 등의 이벤트를 모니터링 할 수 있음. 3. 대상 설정이벤트가 발생했을 ..
AWS Lambda 지연 시간람다에서 지연 시간은 함수가 실행되기 위해 필요한 시간임.이 지연 시간은 여러 요소에 의해 결정됨 1. Cold Start vs Warm Start람다 함수는 Cold Start 및 Warm Start 라는 두 가지 상태를 가짐.Cold Start는 함수가 처음 실행될 때 발생하며, 람다가 컨테이너를 시작하고 함수 코드를 로드하는 시간이 소요됨.Warm Start는 이미 실행 중인 컨테이너에서 함수를 다시 실행할 때 발생하며, 이 경우 컨테이너가 이미 실행 중이므로 시작 및 로드 시간이 단축됨. 2. 함수 크기함수 코드의 크기가 함수 실행에 영향을 미칠 수 있음.큰 함수 코드는 다운로드 및 실행하는 데 더 많은 시간이 걸릴 수 있음. 3. 리소스 할당량람다 함수에 할당된 메모..
AWS VPC(Virtual Private Cloud)AWS 클라우드에서 가상의 네트워크를 프로비저닝하고 구성할 수 있는 서비스임.이는 AWS 리전 내의 논리적으로 격리된 가상 네트워크를 생성하여 AWS 리소스를 배치할 수 있는 환경을 제공함.AWS VPC는 클라우드 네트워킹의 핵심 요소임.보안, 확장성 및 관리 용이성을 제공하여 AWS 리소스를 안전하게 배포하고 운영할 수 있도록 지원함. AWS VPC 특징1. 논리적 격리VPC는 논리적으로 격리된 네트워크 공간을 제공함.여러 고객이 같은 하드웨어 리소스를 공유하지만 서로의 네트워크 간에 격리되어 있음. 2. 사용자 정의VPC를 사용하여 IP 주소 범위, 서브넷, 라우팅 테이블, 네트워크 게이트웨이 등을 사용자 정의할 수 있음. 3. 네트워크 접근 제어..
AWS SQS (Amazon Simple Queue Service)AWS의 메시지 대기열 서비스이 서비스를 사용하면 분산 시스템 간에 메세지를 전송하고 저장할 수 있음여러 시스템이나 컴포넌트 간에 비동기적으로 통신할 때 유용함여러 응용 프로그램 간의 결합을 느슨하게 만들어줌작업을 조정하고 분배할 수 있는 중앙 집중식 메시지 대기열을 제공함분산 시스템 아키텍처에서의 중요한 구성 요소로 사용됨.마이크로서비스, 서버리스 컴퓨팅, 이벤트 기반 아키텍처 등 다양한 환경에서 활용됨.예를 들어, 웹 애플리케이션에서 백그라운드 작업을 처리하거나, 여러 컴포넌트 간에 이벤트를 전달하거나, 다른 AWS 서비스와 통합하여 작업을 조정하는 데 사용될 수 있음. AWS SQS 주요 특징1. 간단성SQS는 관리형 서비스이기 때문..
AWS CloudTrailAWS 계정에서 수행되는 작업을 모니터링하고 로깅하는 서비스.이를 통해 AWS 리소스의 사용, 변경 및 액세스를 추적하고 감사할 수 있음.AWS CloudTrail은 AWS 환경에서 보안, 감사 및 규정 준수 요구 사항을 충족하기 위한 중요한 도구임.이를 통해 조직은 AWS 리소스의 활동을 추적하고 모니터링하여 보안 위협을 식별하고 대응할 수 있음. AWS CloudTrail에 대한 설명1. 로그 기록AWS CloudTrail은 다양한 AWS 서비스에 대한 활동을 기록함.이러한 활동에는 관리 콘솔, AWS CLI, AWS SDK를 통한 API 호출 등이 포함됨. 2. 활동 추적CloudTrail은 각 활동에 대한 세부 정보를 기록함.이 정보에는 작업을 수행한 사용자, 작업의 일시..
AWS S3 (Amazon Simple Storage Service)AWS의 클라우드 스토리지 서비스 중 하나로, 데이터를 안전하게 저장하고 웹상에서 쉽게 접근할 수 있도록 해줌.AWS S3는 대규모 데이터 저장 및 웹 응용 프로그램에 널리 사용되며, 안정성, 확장성 및 비용 효율성을 제공함. AWS S3 주요 특징과 개념1. 데이터 저장AWS S3를 사용하여 거의 모든 종류의 데이터를 저장할 수 있음.텍스트, 이미지, 동영상, 데이터베이스 백업 등과 같은 다양한 유형의 데이터를 포함. 2. 강력한 보안AWS S3는 데이터를 안전하게 저장하기 위해 다양한 보안 기능을 제공함.데이터 암호화, 접근 제어 목록(ACLs), 버킷 정책, IAM(Identity and Access Management) 정책 등이..
1. /etc/cloud/cloud.cfg 파일 수정 2. preserve_hostname 을 true 로 변경 3. /etc/hosts 파일 수정 4. localhost 부분을 내가 원하는 이름으로 변경하자. 나는 server1이 맘에듬 5. /etc/hostname 파일을 수정하자 6. 지우고 내가 원하는 이름으로 바꾸자. 나는 server1 7. 서버를 재실행하자. 8. 재접속하면 호스트네임이 변경돼있다. 1. /etc/cloud/cloud.cfg 파일 수정 sudo vi /etc/cloud/cloud.cfg 2. preserve_hostname 을 true 로 변경 3. /etc/hosts 파일 수정 sudo vi /etc/hosts 4. localhost 부분을 내가 원하는 이름으로 변경하자. ..
