데이터 엔지니어

Cloud/AWS

[AWS] VPC, 서브넷, AZ, 인스턴스

AWS VPC(Virtual Private Cloud)AWS 클라우드에서 가상의 네트워크를 프로비저닝하고 구성할 수 있는 서비스임.이는 AWS 리전 내의 논리적으로 격리된 가상 네트워크를 생성하여 AWS 리소스를 배치할 수 있는 환경을 제공함.AWS VPC는 클라우드 네트워킹의 핵심 요소임.보안, 확장성 및 관리 용이성을 제공하여 AWS 리소스를 안전하게 배포하고 운영할 수 있도록 지원함. AWS VPC 특징1. 논리적 격리VPC는 논리적으로 격리된 네트워크 공간을 제공함.여러 고객이 같은 하드웨어 리소스를 공유하지만 서로의 네트워크 간에 격리되어 있음. 2. 사용자 정의VPC를 사용하여 IP 주소 범위, 서브넷, 라우팅 테이블, 네트워크 게이트웨이 등을 사용자 정의할 수 있음. 3. 네트워크 접근 제어..

Cloud/AWS

[AWS] SQS, 대기열, SNS, LB종류, CLB

AWS SQS (Amazon Simple Queue Service)AWS의 메시지 대기열 서비스이 서비스를 사용하면 분산 시스템 간에 메세지를 전송하고 저장할 수 있음여러 시스템이나 컴포넌트 간에 비동기적으로 통신할 때 유용함여러 응용 프로그램 간의 결합을 느슨하게 만들어줌작업을 조정하고 분배할 수 있는 중앙 집중식 메시지 대기열을 제공함분산 시스템 아키텍처에서의 중요한 구성 요소로 사용됨.마이크로서비스, 서버리스 컴퓨팅, 이벤트 기반 아키텍처 등 다양한 환경에서 활용됨.예를 들어, 웹 애플리케이션에서 백그라운드 작업을 처리하거나, 여러 컴포넌트 간에 이벤트를 전달하거나, 다른 AWS 서비스와 통합하여 작업을 조정하는 데 사용될 수 있음. AWS SQS 주요 특징1. 간단성SQS는 관리형 서비스이기 때문..

Cloud/AWS

[AWS] CloudTrail, CloudWatch, Lambda, SNS, SQS

AWS CloudTrailAWS 계정에서 수행되는 작업을 모니터링하고 로깅하는 서비스.이를 통해 AWS 리소스의 사용, 변경 및 액세스를 추적하고 감사할 수 있음.AWS CloudTrail은 AWS 환경에서 보안, 감사 및 규정 준수 요구 사항을 충족하기 위한 중요한 도구임.이를 통해 조직은 AWS 리소스의 활동을 추적하고 모니터링하여 보안 위협을 식별하고 대응할 수 있음. AWS CloudTrail에 대한 설명1. 로그 기록AWS CloudTrail은 다양한 AWS 서비스에 대한 활동을 기록함.이러한 활동에는 관리 콘솔, AWS CLI, AWS SDK를 통한 API 호출 등이 포함됨. 2. 활동 추적CloudTrail은 각 활동에 대한 세부 정보를 기록함.이 정보에는 작업을 수행한 사용자, 작업의 일시..

Cloud/AWS

[AWS] S3, 수명주기관리, S3 Glacier, 데이터 암호화

AWS S3 (Amazon Simple Storage Service)AWS의 클라우드 스토리지 서비스 중 하나로, 데이터를 안전하게 저장하고 웹상에서 쉽게 접근할 수 있도록 해줌.AWS S3는 대규모 데이터 저장 및 웹 응용 프로그램에 널리 사용되며, 안정성, 확장성 및 비용 효율성을 제공함. AWS S3 주요 특징과 개념1. 데이터 저장AWS S3를 사용하여 거의 모든 종류의 데이터를 저장할 수 있음.텍스트, 이미지, 동영상, 데이터베이스 백업 등과 같은 다양한 유형의 데이터를 포함. 2. 강력한 보안AWS S3는 데이터를 안전하게 저장하기 위해 다양한 보안 기능을 제공함.데이터 암호화, 접근 제어 목록(ACLs), 버킷 정책, IAM(Identity and Access Management) 정책 등이..

개인 일정/공부

객체 스토리지 시스템, 직렬화, 역직렬화

객체 스토리지 시스템 (Object Storage System) - 객체 스토리지 시스템은 데이터를 저장하는 데 사용되는 혁신적인 기술 - 데이터를 객체 단위로 저장하며, 각 객체는 데이터 자체와 해당 데이터에 대한 메타데이터를 포함 - 대량의 데이터를 효율적으로 관리하고 액세스하는 데 매우 유용 객체 스토리지 시스템 특징 (Features of Object Storage Systems) 1. 객체 - 객체 스토리지 시스템에서 데이터의 기본 단위 - 각 객체는 데이터 자체와 해당 데이터에 대한 메타데이터를 포함 (생성 일자, 크기, 유형) 2. 분산 스토리지 - 객체 스토리지 시스템은 보통 분산 스토리지 아키텍처를 기반으로 함 - 데이터를 여러 물리적 위치에 분산하여 저장하고 관리함으로써 확장성과 내결함..

개인 일정/공부

인먼 데이터웨어하우스란

인먼 데이터웨어하우스는 기업이나 조직이 다양한 소스에서 수집한 데이터를 중앙 집중화하여 저장, 관리, 분석하는 시스템입니다. 데이터웨어하우스는 의사 결정을 지원하고 비즈니스 인텔리전스(Business Intelligence, BI)를 제공하기 위해 사용됩니다. 다양한 데이터 소스로부터 데이터를 추출하고 변환하여 데이터웨어하우스에 적재하는 과정을 ETL(Extract, Transform, Load) 프로세스라고 합니다. 이 과정에서 데이터는 일관된 형식으로 표준화되고, 데이터 품질이 관리되며, 필요에 따라 집계되거나 요약됩니다. 데이터웨어하우스는 크게 두 가지 형태로 구성될 수 있습니다. 1. **전통적인 데이터웨어하우스**: 일반적으로 중앙 집중식 아키텍처를 기반으로 하며, 대규모의 데이터를 처리할 수 ..

개인 일정/공부

메세지큐 시스템이란?

메시지 큐(Message Queue)는 컴퓨터 시스템 간에 데이터를 비동기적으로 전송하는 데 사용되는 소프트웨어 패턴 또는 시스템입니다. 이는 발신자와 수신자 간의 통신을 위해 사용됩니다. 메시지 큐는 일반적으로 다음과 같은 기능을 제공합니다. 1. **비동기 통신**: 메시지 큐는 발신자와 수신자 간의 통신을 비동기적으로 처리합니다. 이는 발신자가 메시지를 전송하면, 해당 메시지가 바로 처리되지 않고 메시지 큐에 저장되며, 나중에 수신자가 메시지를 처리할 준비가 될 때까지 대기합니다. 2. **간접 통신**: 발신자와 수신자 간의 통신은 직접적으로 이루어지지 않고, 메시지 큐를 통해 이루어집니다. 이를 통해 발신자와 수신자 간의 결합도를 낮추고 유연성을 제공합니다. 3. **이벤트 기반 아키텍처**: ..

개인 일정/공부

핫 데이터, 웜 데이터, 콜드 데이터란

핫 데이터, 웜 데이터, 콜드 데이터는 데이터 관리와 저장에 관련된 용어들이며, 주로 데이터의 활용 빈도와 관련하여 사용됩니다. 1. 핫 데이터 (Hot Data): - 핫 데이터는 매우 빈번하게 액세스되고 업데이트되는 데이터를 가리킵니다. - 보통 실시간 처리나 빠른 응답이 요구되는 작업에 사용됩니다. - 예를 들어, 온라인 거래 데이터, 실시간 센서 데이터, 실시간 로그 등이 핫 데이터에 해당할 수 있습니다. - 보통 높은 성능과 고가용성을 제공하는 스토리지 시스템에 저장됩니다. 2. 웜 데이터 (Warm Data): - 웜 데이터는 핫 데이터보다는 덜 빈번하게 액세스되지만, 여전히 자주 액세스되는 데이터를 의미합니다. - 주로 분석이나 보고서 생성과 같은 작업에 사용됩니다. - 예를 들어, 몇 주 ..

개인 일정/공부

메세지 큐 시스템이란

메시지 큐(Message Queue) 시스템은 분산 시스템에서 다른 컴포넌트 간에 데이터를 안전하게 전달하는 데 사용되는 중요한 컴퓨팅 구성 요소입니다. 이 시스템은 송신자가 메시지를 생성하고 수신자가 해당 메시지를 소비하는 방식으로 작동합니다. 여기에는 몇 가지 주요 구성 요소와 개념이 있습니다: 1. **메시지**: 메시지 큐를 통해 전송되는 데이터 단위입니다. 메시지는 일반적으로 텍스트, JSON, XML 또는 기타 형식의 데이터일 수 있습니다. 예를 들어, 주문을 처리하는 온라인 상점 애플리케이션의 경우 주문 정보가 메시지로 표현될 수 있습니다. 2. **생산자(Producer)**: 메시지를 생성하여 메시지 큐에 넣는 역할을 하는 애플리케이션, 프로세스 또는 컴포넌트입니다. 주문을 처리하는 시스..

박경태
'분류 전체보기' 카테고리의 글 목록 (20 Page)