구글 클라우드 GCP 용어 정리 (+파트별 추가)

 

Point-in-time recovery

특정 복구 시점

 

 

 

MySQL binary log

udpate, insert, delete 등 데이터베이스에

일어나는 업데이트에 관련된 쿼리가

시간과 함께 기록되며, 데이터 복구에 이용됨.

 

 

binary 

• 0,1 이진법을 의미함
• 컴퓨터에서는 이진 파일을 의미함.
• (이진파일 -> 텍스트 형태가 아닌 이진 형태로 인코딩 된 파일)

 

RDP

• Reomote Desktop Protocol
• 말 그대로 원격 지원을 해주는 프로토콜
• 윈도우시스템에 원격으로 연결하기 위해 사용

 

---

<데이터처리>

 

1. BigQuery - redshift, Athena

• 완전 관리형 서버리스 데이터웨어하우스
• 분석, 멀티페타바이트 지원
• 표준 SQL 지원
• 저비용

 

2. Cloud Pub/Sub - Kinesis

• 스트림 데이터 처리
• 데이터를 수집하고 배포하는 스트리밍 분석 및 데이터 통합 파이프라인에 사용됨
• "게시자" 및 "구독자" 시스템 만들 수 있음.
• 실시간 이벤트 배포

 

3. Cloud DataFlow - EMR

• 일부 데이터를 수집하여 어떤 형태로 변환
• 배치 및 스트림 모드로 데이터 변환 및 처리
• Apache Beam
• ETL 처리 (Extract Transform and Load)

 

4. Cloud Dataproc - EMR

• Apache Hadoop, Apache Spark 서비스
• 및 프레임워크를 실행하기 위한 완전 관리형 서비스
• Kubernetes에서 serveless 사용 또는 클러스터 관리

 

5. Cloud Dataprep

• 분석 및 머신러닝에 사용할 데이터를 시각적으로 탐색, 정리, 준비하는 서비스
• 데이터 준비와 정리
• 이상 감지 시 사용됨! -> detect anomalies

 

6. Cloud DataFlow - kinesis

• 서버리스 스트리밍 및 데이터 처리
• 배치 및 스트림 모드로 데이터를 변환하고 처리할 수 있는 서비스

 

 

 

※ Game realtime analytics는 보통 어떤 서비스로 처리하는지?

• Cloud Pub/sub
• Cloud Dataflow
• Bigquery

 

 

※ Stream, ETL을 처리하는것은?

• Cloud Dataflow

 

출처 : cloud.google.com // 시계열 데이터를 처리하기 위한 파이프라인 구축 참고용

 

---

<DB, Storage>

 

1. Cloud Storage - S3

• 객체 스토리지
• 양에 상관없이 데이터를 저장하고 언제든 검색
• 15분 내에 리전 간 데이터 100% 복제
• 객체 수명 주기 관리(OLM) 사용
  - 보관기간이 길어질수록 더 저렴한 스토리지로 자동 전환

 

2. Cloud SQL - RDS

• MySQL, PostgreSQL, SQL Server
• 프로비저닝, 저장용량관리, 기타시간 소요되는 작업 자동화

 

3. Cloud Bigtable - DynamoDB

• NoSQL, 실시간 데이터처리 
• 1초에 수백만 건 처리, 지연 시간 10ms 미만 유지
• IOT, 광고, 핀테크, 맞춤설정에 적합
• 재구성 과정에 다운타임 없음
• 머신러닝 애플리케이션용 스토리지 엔진

 

4. Cloud Datastore - DynamoDB, DocumentDB, Elastic Search

• NoSQL, Entity 사용
• User Profile Database
• 대규모 / 구조화된 데이터 처리
• ★분석이 아니다!

 

5. Cloud Spanner - RDS

• 관계형DB, NoSQL 지원
• 대규모 SQL 처리, 수평 확장이 용이함
• 무제한 확장, 강력한 일관성 및 가용성
• 리전과 대륙에 걸쳐 일관성이 뛰어난 고성능 트랜잭션 제공

 

6. Cloud Filestore - SimpleDB

• NoSQL : indexed NoSQL
• 고성능 완전 관리형 파일 스토리지

 

6-1 Cloud Filestore - DynamoDB

• NoSQL : key-value NoSQL

 

7. Cloud MemoryStore - Memcached

• Redis In-memory Database
• 1밀리초 미만 데이터 액세스를 제공하는 캐시 빌드
• Redis 및 Memcached와 100% 호환
• 코드 변경 없이 마이그레이션

 

 

 

★ Cloud Storage 4개등급(GCS) ★

1. Multi-regional Storage : 여러 지역에 데이터 복제
2. Regional Storage : 단일 영역
3. Nearline - S3 Infrequent access : 자주안쓰는데이터, 저비용, 데이터보관, 백업
4. Coldline - S3 Glacier : 최저비용, 재난시보관, 거의 안쓰는 스토리지 

 

 

 

 

---

 

<네트워크 서비스>

 

 

1. Virtual Private cloud - VPC

• 글로벌 가상 네트워크
• 다운타임 없이 IP 공간 확장 가능
• 조직 전체에 하나의 VPC만으로도 프로젝트 내 팀 분리 가능

 

 

2. Cloud Load Balancer - ELB

• 고성능 부하 부산 서비스
• ★ 여러 대의 Server에 균등하게 Traffic을 분산시켜주는 역할
• HTTP(s), TCP/SSL 부하 분산

 

 

3. firewall rule - Security Group

• 방화벽 규칙
• 네트워크가 만들어진 위치에만 적용
• -> 각각 선택한 이름은 프로젝트에 고유해야함.
• Ipv4 , IPv6 범위 중 하나만 포함 가능!

 

4. Cloud DNS - CloudFront

• 도메인 등록, 관리, 제공 기능
• ex) google.com -> 74.125.59.101
• DNS, 도메인수 , DNS 조회 및 요청수를 기반으로 요금 부과

 

5. Cloud VPN - Site to Site VPN

• Virtual Private Cloud
• IPsec VPN 연결을 통해 Peer Network를 VPC에 안전하게 연결
• 암호화 -> 복호화
• 전용선 연결에 비해 낮은 가격으로 손쉽게 사설 네트워크 연결 솔루션

 

 

6. Cloud Interconnection - Direct Connect

• 지연 시간이 짧고 가용성이 높은 연결 제공
• 온프레미스 <-> VPC 네트워크 간 데이터 전송
• 내부 IP 주소 통신을 제공하므로 직접 액세스 가능!

 

---

 

<Computing 서비스>

 

1. Compute Engine - EC2

• Google의 물리적 하드웨어에서 워크로드를 실행 할 수 있도록 하는 IaaS 제품
• 가상머신(VM) 제공

 

 

2. Google Kubernetes Engine - EKS

• 관리형 쿠버네티스 클러스터
• Kubernetes Engine도 Compute에 속함!
• 포트(Pod)는 컨테이너 그룹

 

2-1 kubctl

• 쿠버네티스 커맨드라인 도구
• 쿠버네티스 클러스터에 대해 명령 실행
• 애플리케이션을 배포하고, 클러스터 리소스를 검사 및 관리하고, 로그를 볼 수 있다.

2-2 daemonset

• 클러스터 전체에서 포드를 띄울 때 사용하는 컨트롤러
• 컨트롤러 = 기본 오프젝트 생성 및 관리
• "특정 노드 또는 모든 노드"에 실행되어 햘 특정 파드를 관리!

 

 

3.  App Engine - Elatic Benstalk

• standard, flexible
• 확장 가능한 애플리케이션을 개발하고 호스팅하기 위한 완전 관리형 서버리스 플랫폼
• - Node, PHP, Python 등의 언어 및 라이브러리, 프레임워크 중에서 선택하여 앱 개발 후
• - App Engine에서 프로비저닝 서버를 관리하고 필요에 따라 인스턴스 확장 가능!
• 프로젝트 내에서는 App Engine 애플리케이션이 하나만 있을 수 있다!

 

 

4. Cloud Function - Lambda

• 클라우드에서 코드 실행 (관리할 서버 X, 컨테이너 X)
• 개발 환경 간소화 및 속도 증가
• 100밀리초 단위로 측정된 함수 실행 시간에 대해서만 요금 청구
• 이벤트에 응답하여 자동으로 가동되고 중단됨

 

 

5. Cloud Run - AWS fargate

• 확장 가능한 인프라에 직접 컨테이너를 실행할 수 있게 해주는 관리형 플랫폼
• 컨테이너 이미지를 빌드할 경우 모든 프로그래밍 언어로 작성된 코드를 Cloud Run에 배포 가능!
• 소스 기반 배포 옵션 사용도 가능!
• --> 개발자가 코드 작성하는데만 시간 O , 서비스 운영/구성/확장 시간 X

 

 

---

 

 

<Monitoring Service>

 

1. Cloud IAM - IAM

• Authentification and Access Management
• 중앙 계정 관리 서비스

 

 

2. Stackdriver Monitoring - Cloud Watch

• 모니터링

 

 

3. Stackdriver Logging - Cloud Watch log

• 로그 모니터링

 

 

4. Cloud Deployment Manager - CloudFormation

• Google Cloud 리소스 만들기 및 관리를 자동화하는 배포시스템

 

 

5. Source Repositories

• 비공개 Git Repository

 

6. Cloud Endpoints

• API로깅, 모니터링 지원

 

 

7. Apigee Edge

• 고객 대면, 비즈니스 분석 및 청구 수행
• GCP로 구현되지 않는 기존 모놀리식 애플리케이션의 마이크로 서비스로 분해

 

 

8. Cloud Composer

• 파이프라인을 작성하여 예약 및 모니터링할 수 있는 톻합 워크플로 관리 서비스

 

 

---

 

<Machine Learning>

 

== 데이터 과학자를 위한 AI ==

1. Vertex AI

새로운 통합 머신러닝 플랫폼

 

2. Vertex AI Workbench

단일 개발 환경

 

 

 

== 개발자를 위한 AI ==

1. AutoML

최소한의 수고와 머신러닝 지식만으로 간편하게 모델 학습

 

2. Cloud Inference API

입력된 대규모 시계열 데이터에서 유용한 정보 도출

 

3. Cloud Natural Language - Comprehend

Google 머신러닝을 사용하여 구조화되지 않은 텍스트에서 유용한 정보 도출

자연어처리, 텍스트 문서, 기사, 블로그, 장소, 이벤트 정보를 추출

 

4. Dialogflow - Amazon Lex

대화형 인터페이스

 

5. Media Tranlslation (베타)

실시간 오디오 번역

 

6. Speech-to-Text - Transcribe

텍스트를 음성으로 변환

 

7. Timeseries Insights API

대규모 시계열 예측 및 이상 감지 실시간 수행

 

8. Translation AI

신속한 동적 기계 번역

ex) 구글 번역기

 

9. Vison AI - Rekognition

AutoML Vision을 사용해 이미지에서 유용한 정보 도출

이미지 분석 API, 얼굴 및 로고 인식, 내용 안전 여부 확인 등

 

 

 

 

== AI 인프라 ==

1. Deep Learning Containers

딥 러닝 환경을 위해 사전 구성 및 최적화된 컨테이너

 

2. Deep Learning VM Image

딥 러닝 애플리케이션을 위해 사전 구성된 VM

 

3. GPU

머신러닝, 과학 컴퓨팅, 3D 시각화에 활용될 수 있는 고성능 GPU

 

4. TensorFlow Enterprise

엔터프라이즈 개발 지원

 

5. TPU

빠르게 머신러닝 모델 학습 및 실행