[AWS] s3, s3a, s3n

Amazon S3

S3는 AWS의 객체 스토리지 서비스임.

웹에서 대규모 데이터를 저장하고 검색할 수 있는 서비스임.

 

Amazon S3 주요 특징

1. 객체 스토리지

데이터를 파일 단위로 저장하며, 각 객체는 고유의 키를 가짐

2. 스케일링

페타바이트 수준의 데이터까지 저장 가능

3. 내구성 및 가용성

99.999999999% 내구성과 99.99% 이상의 가용성을 제공함

4. 글로벌 인프라

전 세계 여러 리전과 가용 영역에 데이터를 분산함.

5. 요금 구조

저장 용량, 요청 수, 데이터 전송량 등에 따라 종량제 요금을 부과함.

 

Amazon S3 활용 사례

1. 데이터 백업 및 복구

2. 대규모 데이터 레이크 운영

3. 정적 웹사이트 호스팅

4. 분석 워크플로우 저장소

 

S3A

S3A는 Hadoop 환경에서 Amazon S3와 연동하기 위한 드라이버 또는 프로토콜을 의미함.

 

S3A 정의

S3A는 AWS S3를 Hadoop 애플리케이션에서 네이티브 파일 시스템처럼 사용할 수 있도록 지원하는 플러그인임.

Hadoop 애플리케이션은 데이터 분석 워크로드를 처리하는 데 사용되며, S3A를 통해 객체 스토리지에 직접 액세스할 수 있음.

 

S3A 주요 특징

1. 파일시스템 인터페이스

s3a:// 프로토콜을 사용하여 S3 버킷과 통신.

2. 고성능

S3N이나 이전 프로토콜보다 더 빠른 속도와 낮은 지연시간 제공.

3. 보안

AWS IAM 인증을 통한 보안 통합.

4. Hadoop 호환성

Apache Hadoop, Hive, Spark 등과 원활히 연동.

 

S3A 주요 차별점

S3A는 S3와의 데이터 읽기/쓰기 속도가 향상된 반면, 이전의 S3N이나 S3은 대규모 병렬 작업에서 성능이 제한적.

병렬 읽기/쓰기가 최적화되어 있어 대규모 분석에 적합.

 

S3N

S3N은 Hadoop에서 S3를 네이티브 파일시스템으로 사용하는 이전 방식임.

 

S3N 정의

S3N은 Hadoop 애플리케이션에서 S3와 통신하기 위해 제공되던 초기 프로토콜임.

s3n:// 프로토콜로 버킷에 액세스했음.

 

S3N 주요 특징

1. 레거시 프로토콜

최신 S3A보다 성능이 떨어짐.

2. 파일 크기 제한

S3A에 비해 큰 파일 처리에 제약이 있었음(파일 크기 최대 5GB 제한).

3. 보안 제한

AWS IAM 키를 명시적으로 제공해야 했으며, 최신 보안 방식이 적용되지 않음.

 

S3N 한계점

S3A에 비해 느린 성능.

최신 Hadoop 배포판에서는 S3N이 더 이상 권장되지 않으며, 대부분 비활성화 상태.