용어 정리 2/?

Amazon EMR (Elastic MapReduce)

 Apache Spark, Apache Hive, ApacheHBase, Apache Flink, Apache Hudi 및 Presto와 같은 오픈 소스 도구를 사용하여 방대한 양의 데이터를 처리하기 위한 클라우드 빅 데이터 플랫폼.

 프로비저닝 용량 및 클러스터 조정 등의 시간이 소요되는 일을 자동화하여 빅 데이터 환경을 쉽게 설치, 운영, 확장을 가능하게 해준다.

 기존 온프레미스 솔루션의 50% 이하의 비용으로 표준 Apache spark보다 3배 이상 빠르게 페타바이트 규모의 분석을 실행할 수 있다.

 EC2, EKS Cluster 또는 AWS Outports 기반 EMR에서 워크로드 실행이 가능하다.

 

Amazone Athena

 

 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스. 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불한다.

 데이터 분석을 위한 복잡한 ETL(Extract, Transform, Load)작업이 필요 없으므로 신속하게 대규모 데이터 세트 분석이 가능하다.

 

AWS GuardDuty

AWS계정 워크로드 및 S3에 저장된 데이터를 보호하기 위해 악의적 활동 또는 무단 동작을 지속적으로 모니터링하는 위협 탐지 서비스.
 기계 학습,이상 탐지 및 통합 위협 인텔리전스를 사용하여 잠재적 위협을 식별하고 이에 대처할 우선 순위를 부여한다.
 AWS CloudTrail 이벤트 로그, Amazon VPC Flow Log 및 DNS 로그와 같은 여러 AWS 데이터 원본에 걸쳐 수백 억 건의 이벤트를 분석한다. 
 CloudWatch Events와 통합을 통해 조치 가능한 경보를 제공하고, 이러한 경보를 여러 계정에 걸쳐 쉽계 집계하며 기존 이벤트 관리 및 워크플로우 시스템에 간단히 푸시함.

 

AWS System Manager Parameter Store

AWS 시스템 관리자 Parameta Store는 구성 데이터 관리 및 암호 관리를 위한 안전한 계층적 스토리지를 제공한다. 암호, 데이타베이스 문자열, AMI(Amazon Machine Image) IDs 및 라이선스 코드와 같은 데이터를 파라미터 값으로 저장할 수 있다. 값을 일반 텍스트 또는 암호화된 데이터로 저장할 수 있다. 스크립트, 명령, SSM 문서, 구성 및 자동화 워크플로에서 시스템 관리자 파라미터를 참조할 수 있다.
 - 사용 대상
구성 데이터를 관리할 수 있는 중앙 집중식 방법을 원하는 모든 AWS 고객.
서로 다른 로그인을 쉽게 저장하고 스트림을 참조하려는 소프트웨어 개발자.
보안 암호 및 암호가 변경되었거나 적용되지 않았을 때 알림을 받으려는 관리자.

 

AWS Lambda

서버 프로비저닝 또는 관리, 워크로드 인식 확장 로직 생성, 이벤트 통합 유지, 또는 런타임 관리 없이 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스. 사실상 모든 유형의 애플리케이션이나 백엔드 서비스에 대한 코드를 별도의 관리 없이 실행할 수 있다. 코드를 ZIP 파일 또는 컨테이너 이미지로 업로드하기만 하면 자동으로 컴퓨팅 실행 능력을 할당하고, 모든 트래픽 규모에 대하여 수신 요청 또는 이벤트를 기반으로 코드를 실행한다.
 140개의 AWS 서비스에서 코드를 자동으로 트리거하도록 설정하거나 웹 또는 모바일 앱에서 직접 코드를 호출할 수 있다. 
 선호 언어(Node.js, Python, Go, Java 등)로 작성하고 서버리스 및 컨테이너 도구 모두를 사용하여 기능을 구축, 테스트 및 배포할 수 있다.

 

AWS S3 classes

 - standard :자주 액세스하는 데이터를 위해 높은 내구성, 가용성 및 성능을 갖춘 객체 스토리지를 제공.
짧은 지연 시간과 많은 처리량을 제공하므로 클라우드 애플리케이션, 동적 웹 사이트, 콘텐츠 배포, 모바일 및 게임 애플리케이션, 빅 데이터 분석 등의 다양한 사용 사례에 적합.
 - Intelligent-Tiering(S3 Intelligent-Tiering) : 액세스 패턴이 변화할 때 4개의 액세스 티어 간에 객체를 이동하여 자동 비용 절감 효과를 제공하는 유일한 클라우드 스토리지 클래스.
 S3 Intelligent-Tiering 스토리지 클래스는 운영 오버헤드 없이 가장 비용 효과적인 액세스 티어로 데이터를 자동으로 이동하여 비용을 최적화하기 위해 설계되었다. 4개의 액세스 티어, 즉 빈번한 액세스와 간헐적인 액세스에 최적화된 2개의 대기 시간이 짧은 액세스 티어와 비동기 액세스용으로 설계되어 드문 액세스에 최적화된 2개의 선택적 아카이브 액세스 티어에 객체를 저장하는 방식으로 작동.
 - Standard-Infrequent Access(S3 Standard-IA) :  자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합. 낮은 비용과 높은 성능의 조합을 제공하는 S3 Standard-IA는 장기 스토리지, 백업 및 재해 복구 파일용 데이터 스토어에 이상적.
 - One Zone-Infrequent Access(S3 One Zone-IA) : 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합하다. 최소 3개의 가용 영역(AZ)에 데이터를 저장하는 다른 S3 스토리지 클래스와는 달리, S3 One Zone-IA는 단일 AZ에 데이터를 저장하며 비용이 S3 Standard-IA보다 20% 적게 든다.
S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA 전반에 걸쳐 저장된 여러 객체가 단일 버킷에 포함될 수 있다.
 - Glacier : 데이터 보관을 위한 안전하고 내구력 있으며 저렴한 스토리지 클래스. 온프레미스 솔루션과 비슷하거나 더 저렴한 비용으로 원하는 양의 데이터를 안정적으로 저장할 수 있다. 
 - Glacier Deep Archive : S3에서 가장 저렴한 비용의 스토리지 클래스이며 1년에 한두 번 정도 액세스할 수 있는 데이터의 장기 보관 및 디지털 보존을 지원. 이 서비스는 규제 규정 준수 요건을 충족하기 위해 7-10년 이상 데이터 세트를 보관하는 고객(특히 금융 서비스, 의료, 공공 부문과 같이 엄격하게 규제되는 산업의 고객)을 위해 설계되었다. 또한 S3 Glacier Deep Archive는 백업 및 재해 복구 사용 사례에도 사용할 수 있으며 온프레미스 라이브러리든 오프프레미스 서비스든 상관없이 자기 테이프 시스템에 대한 비용 효과적이고 관리하기 쉬운 대안이다.
 S3 Glacier Deep Archive는 Amazon S3 Glacier를 보완하며, 데이터를 정기적으로 검색하고 일부 데이터의 경우 몇 분 이내에 사용해야 할 수 있는 아카이브에 이상적. S3 Glacier Deep Archive에 저장된 모든 객체는 최소 3개의 지리적으로 분산된 가용 영역에 걸쳐 복제되고 저장되며, 99.999999999%의 내구성으로 보호되고 12시간 이내에 복원할 수 있다.
 - Outposts 스토리지 클래스 : 온프레미스 AWS Outposts 환경에 객체 스토리지를 제공. AWS 리전에 제공되는 S3 API와 기능을 사용하면 S3 on Outposts에서 Outpost에 데이터를 간편하게 저장 및 검색할 수 있으며 데이터 보안, 액세스 제어, 태그, 보고서 기능도 사용할 수 있다. S3 on Outposts는 'S3 Outposts'라는 단일 Amazon S3 스토리지 클래스를 제공합니다.

*교차 출처 리소스 공유(Cross-Origin Resource Sharing, CORS)는 추가 HTTP 헤더를 사용하여, 한 출처에서 실행 중인 웹 애플리케이션이 다른 출처의 선택한 자원에 접근할 수 있는 권한을 부여하도록 브라우저에 알려주는 체제입니다. 웹 애플리케이션은 리소스가 자신의 출처(도메인, 프로토콜, 포트)와 다를 때 교차 출처 HTTP 요청을 실행합니다.

AWS WAF(web application firewall)

 가용성에 영향을 주거나, 보안을 위협하거나, 리소스를 과도하게 사용하는 일반적인 웹 공격으로부터 웹 애플리케이션이나 API를 보호하는 데 도움이 되는 웹 애플리케이션 방화벽. AWS WAF에서는 SQL 주입 또는 사이트 간 스크립팅과 같은 일반적인 공격 패턴을 차단하는 보안 규칙 및 사용자가 정의한 특정 트래픽 패턴을 필터링하는 규칙을 생성하도록 지원하여 애플리케이션에 트래픽이 도달하는 방법을 제어할 수 있다. AWS 또는 AWS Marketplace 셀러가 관리하는 사전 구성된 규칙 세트인 AWS WAF용 관리형 규칙 사용을 빠르게 시작할 수 있다.


*액티브-액티브 장애 조치
 모든 리소스를 대부분의 시간 동안 사용 가능하도록 하는 장애 조치 구성. 리소스를 사용할 수 없을 때는 Route 53이 비정상 상태임을 판별하여 쿼리에 응답할 때 그 리소스를 포함하지 않는다.
 액티브-액티브 장애 조치에서 동일한 이름, 동일한 유형(예: A 또는 AAAA) 및 동일한 라우팅 정책(예: 가중치 또는 지연 시간)를 보유한 모든 레코드는 Route 53이 이를 비정상으로 간주하지 않는다. Route 53은 정상 레코드를 사용하여 DNS 쿼리에 응답할 수 있다.

*액티브-패시브 장애 조치
기본 리소스 또는 리소스 그룹이 대부분의 시간 동안 사용 가능하도록 하고 보조 리소스 또는 리소스 그룹은 기본 리소스가 사용 불가능할 경우를 대비해 대기 중에 있도록 할 때 사용. 쿼리에 응답할 때 Route 53은 정상적인 1차 리소스만을 포함한다. 모든 1차 리소스가 비정상이라면, Route 53은 DNS 쿼리에 응답할 때 정상적인 2차 리소스만을 포함시키기 시작한다.

*CSV(comma-separated values) : 몇 가지 필드를 쉼표(, )로 구분한 텍스트 데이터 및 텍스트 파일이다.

 

AWS Route53 지연 속도 기반 라우팅

 AWS는 전 세계에 11개의 리전(Region)과 30개의 가용 영역(Availability Zone)으로 글로벌 서비스를 제공함으로써, 각 국가 또는 지역 사용자에게 가장 빠른 서비스라고 한다. Amazon CloudFront라는 전용 콘텐츠 전송 네트워크를 통해 네트워크 속도 측면에서 가장 가까운 53개의 Edge에서 더 빠르게 정적 콘텐츠 및 동적 캐싱을 통해 더 빠른 서비스 전달이 가능하다.
 더 빠르게 콘텐츠를 배포하기 위해서 원래 콘텐츠 위치(Origin)인 S3 버킷에서 가장 빠른 클라우드프론트 에지를 찾아야 할 필요가 있다. 
 Geoproximity routing : 지리적 근접 라우팅? Amazon Route53의 라우팅 방법 중 하나. 사용자의 지리적 위치에 기반해 트래픽을 라우팅한다. 

Amazon Aurora

 클라우드용으로 구축된 MySQL 및 PostgreSQL 호환 관계형 데이터베이스로, 기존 엔터프라이즈 데이터베이스의 성능과 가용성에 오픈 소스 데이터베이스의 간편성과 비용 효율성을 결합.
 표준 MySQL 데이터베이스보다 최대 5배 빠르고, 표준 PostgreSQL 데이터베이스보다 3배 빠르다. 또한, 1/10의 비용으로 상용 데이터베이스의 보안, 가용성 및 안정성을 제공한다. 하드웨어 프로비저닝, 데이터베이스 설정, 패치 및 백업과 같은 시간 소모적인 관리 태스크를 자동화하는 RDS(Amazon Relational Database Service)에서 Amazon Aurora의 모든 측면을 관리한다.
 Amazon Aurora는 내결함성을 갖춘 자가 복구 분산 스토리지 시스템으로, 데이터베이스 인스턴스당 최대 128TB까지 자동으로 확장된다. 지연 시간이 짧은 읽기 전용 복제본 최대 15개, 특정 시점으로 복구, Amazon S3로 지속적 백업, 3개 AZ(가용 영역)에 걸친 복제를 통해 뛰어난 성능과 가용성을 제공한다.

Amazon Simple Notification Service(SNS)

애플리케이션 간(A2A) 및 애플리케이션과 사용자 간(A2P) 통신 모두를 위한 완전관리형 메시징 서비스.
A2A 게시/구독 기능에서는 분산 시스템, 마이크로서비스 및 이벤트 중심의 서버리스 애플리케이션 사이에서 처리량이 높은 푸시 기반의 다대다 메시징을 위한 주제를 제공. Amazon SNS 주제를 사용하면 게시자 시스템에서 Amazon SQS 대기열, AWS Lambda 함수 및 HTTPS 엔드포인트를 비롯한 다수의 구독자 시스템과 병렬 처리를 위해 Amazon Kinesis Data Firehose로 메시지를 팬아웃할 수 있다. A2P 기능을 사용하면 SMS, 모바일 푸시 및 이메일을 통해 대규모로 사용자에게 메시지를 전송할 수 있다.

Amazon SNS, SQS 비교
둘다 AWS 메시징 서비스임

구분	아마존 SNS	아마존 SQS
메시지 지속성	No	Yes
전송 메커니즘	푸시(수동적)	폴링(능동적)
생산자/소비자	게시/구독	송신/수신

Target Tracking Policy(in EC2, DynamoDB and so on)

 Application Load Balancer 요청 수, CPU 부하, 네트워크 트래픽 또는 고객 측정에 의한 스케일링 정책을 만들 수 있다.
정책에 따라 조정 지표를 선택하고 대상 값을 설정한다. Amazon EC2 Auto Scaling은 조정 정책을 트리거하는 CloudWatch 경보를 생성 및 관리하면서 지표와 목표 값을 기준으로 조정 조절값을 계산한다. 조정 정책은 필요에 따라 용량을 추가하거나 제거하여 측정치를 지정한 목표 값으로, 혹은 목표 값에 가깝게 유지한다. 대상 추적 조정 정책은 지표를 목표 값에 가깝게 유지하는 것 외에도 로드 패턴 변화로 인한 지표의 변화에 따라 조정되기도 한다.
----------
예를 들어,다음과 같은 경우에 대상 추적 조정을 사용할 수 있다.

 - 대상 추적 조정 정책을 구성하여 Auto Scaling 그룹의 평균 총 CPU 사용량을 40%로 유지하는 경우

 - 대상 추적 조정 정책을 구성하여 Application Load Balancer 대상 그룹의 대상 1개당 요청 수를 Auto Scaling 그룹에 필요한 1000개로 유지하는 경우

 애플리케이션 요구 사항에 따라, 대상 추적을 사용할 때 이러한 인기 조정 지표 중 하나가 가장 적합하거나 이러한 지표 또는 다른 지표의 조합이 요구 사항을 더 잘 충족할 수도 있다.
-----------

Amazon Certificate Manager

 AWS 웹 사이트 및 애플리케이션을 보호하는 퍼블릭 및 프라이빗 SSL/TLS X.509 인증서 및 키를 생성, 저장 및 갱신하는 복잡한 과정을 처리합니다. 를 사용하여 직접 발급하거나 관리 시스템으로 AWS 타사 인증서를 가져오기 ACM을 통해 통합 ACM에 대한 인증서를 제공한다.


Amazon Glue

 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 쉽게 탐색, 준비, 그리고 조합할 수 있도록 지원하는 서버리스 데이터 통합 서비스이다. AWS Glue에서는 데이터 통합에 필요한 모든 기능을 제공하므로 몇 분 안에 데이터 분석을 시작하고 해당 내용을 활용할 수 있다.
 데이터 통합은 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 준비하고 결합하는 프로세스이다. 이 작업은 다양한 소스에서 데이터 검색 및 추출, 데이터 강화, 정리, 정규화 및 결합, 데이터베이스, 데이터 웨어하우스 및 데이터 호수에 데이터 로드 및 구성 등의 여러 작업을 포함한다. 이러한 작업은 종종 각자 다른 제품을 사용하는 다른 유형의 사용자가 취급한다.

Amazon QuickSight

 클라우드용 구축형 확장 가능한 서버리스의, 임베드 가능 기계 학습 기반 비즈니스 인텔리전스 (BI) 서비스. QuickSight를 사용하면 Machine Learning 기반 Insights가 포함된 대화형 BI 대시보드를 쉽게 생성 및 게시할 수 있다. QuickSight 대시보드를 어떤 디바이스에서든 액세스할 수 있는 것은 물론, 애플리케이션, 포털, 웹 사이트에 임베딩할 수 있다.
QuickSight는 서버가 없으며, 관리가 필요한 인프라 또는 계획해야 하는 용량 없이, 자동으로 사용자 수만 명을 수용하도록 확장할 수 있다.

AWS Secrets Manager

 코드의 암호를 포함해 하드 코딩된 자격 증명을 Secrets Manager에서 프로그래밍 방식으로 보안 암호를 검색하도록 하는 API 호출로 바꿀 수 있다. 이 경우 보안 암호가 코드에 더 이상 존재하지 않기 때문에 코드를 검사하는 누군가에 의해 보안 암호가 손상되지 않도록 방지할 수 있다. 또한 사용자가 지정된 일정에 따라 Secrets Manager가 자동으로 보안 암호를 교체하도록 구성할 수 있다. 따라서 단기 보안 암호로 장기 보안 암호를 교체할 수 있어 손상 위험이 크게 줄어든다.

AWS Key Management Service(KMS)

 암호화 키를 생성 및 관리하고 다양한 AWS 서비스와 애플리케이션에서의 사용을 제어할 수 있다. AWS KMS는 FIPS 140-2에 따라 검증되었거나 검증 과정에 있는 하드웨어 보안 모듈을 사용하여 키를 보호하는 안전하고 복원력 있는 서비스이다. 또한, AWS KMS는 AWS CloudTrail과도 통합되어 모든 키 사용에 관한 로그를 제공함으로써 각종 규제 및 규정 준수 요구 사항을 충족할 수 있게 지원한다.

 

AWS System Manager Parameter Store

구성 데이터 관리 및 암호 관리를 위한 안전한 계층적 스토리지를 제공한다. 암호, 데이터베이스 문자열, Amazon Machine Image(AMI) IDs및 라이선스 코드와 같은 데이터를 파라미터 값으로 저장할 수 있다. 값을 일반 텍스트 또는 암호화된 데이터로 저장할 수 있다. 파라미터를 생성할 때 지정한 고유 이름을 사용하여 스크립트, 명령, SSM 문서, 구성 및 자동화 워크플로에서 시스템 관리자 파라미터를 참조할 수 있다.