1. Amazon S3이란?

Amazon Simple Storage Service는 인터넷 스토리지 서비스 이다. 단순한 웹 서비스 인터페이스를 사용하여 언제든지 웹상 어디서나 원하는 양의 데이터를 생성(Create)하고 읽고(Read) 수정하고(Update) 삭제(Delete)할 수 있다.

Amazon S3는 객체 스토리지 서비스이기 때문에 Key-Value 형태로 저장된다. Key-Value 구조이지만, Key의 접두어 및 슬래시를 이용하여 폴더 개념을 사용 할 수 있다.

• 목표

  Amazon S3의 기본적인 개념에 대해서 학습하고, 이 지식을 기반으로 수집된 사용자 데이터를 Amazon S3에 저장해보자.

2. Amazon S3 개념

1. 버킷

   버킷은 데이터 스토리지를 위한 Amazon S3의 가장 기본적인 컨테이너이다. 우리가 흔히 사용하는 파일시스템과 비교 한다면, 최상위 루트 디렉토리(Root Directory)와 유사한 개념이라고 볼 수 있다.

   • 스토리지 및 데이터 전송요금을 담당하는 계정을 식별
   • 액세스 제어가 가능
   • 사용량 보고를 위한 집계 단위로 사용됨
   • 버킷 명칭은 글로벌 Regions 내에 유일함

2. 객체

   Amazon S3의 저장되는 기본 객체. 객체는 데이터와 메타데이터로 구성된다. 객체는 Key 및 버전ID를 통해 버킷내에서 고유하게 식별된다.

3. 키

   키는 버킷 내 객체의 고유한 식별자 역할

4. Regions

3. 인증

4. 데이터 일괄성 모델

1. 스토리지 관리 및 운영
2. Amazon S3 사용한 개발

5. Copy HDFS Data to S3 Bucket

1. distcp 명령어를 사용하기
   • step1. Create an S3 bucket
   • step2. Use distcp utility to copy data from your hadoop platform to the S3 bucket created in STEP1.
2. Local Download 후, AWS S3 cli 사용하기