시스템 수업 3일차 (스토리지, 핫스페어, 디둡, FC)

스토리지란?

1. 로컬 스토리지

• 외부 디스크를 사용하는 것에 비해 디스크 개수와 확장성은 여전히 떨어짐
• 서버 내부의 저장 영역

 

2. 외부 스토리지

• 서버 외부에 준비한 스토리지 장비, 로컬 스토리지에 비해 확장성이 좋다.

 

 

** 외부 스토리지 사용 형태

	DAS	NAS	SAN (Storage Area Network)
연결을 위한 장치	Controller (SCSI, RAID)	NIC	HBA (FC)
접속 장치	없음	LAN 스위치	FC 스위치 = SAN 스위치
비고	소규모 독립된 구성 (거의 안씀)	간간이 사용	제일 많이 사용

 

1. DAS

• 데이터 서버와 외장형 저장장치를 전용 케이블(SAS Cable, Fiber Cable)로 직접 접속하는 방법
• 다이렉트로 붙여져 있어서 간섭이 덜하고 빠르다.
• 확장성 및 유연성이 많이 떨어지는 최대 단점 때문에 거의 안씀.

 

 

2. NAS

• LAN을 통해 스토리지와 서버를 접속하는 방식
• 일반서버 <-> 파일서버
  - TCP/IP 기반으로 LAN으로 접속
• 파일서버 <-> 스토리지
  - SCSI 프로토콜을 기반으로 한 SCSI 또는 Fiber Channel 접속
  
  
• 파일서버를 통한 파일 시스템 공유
• 데이터저장장치와 서버간의 독립성 유지
• LAN을 통한 클라이언트, 서버, 파일 서버의 연결
• NFS, FTP 와 같은 주요 프로토콜

 

NAS의 문제점

• 파일서버에 의해 스토리지 용량이 제한됨
• 파일서버가 지원하는 스토리지 종류만 설치가능
• 파일서버 shutdown시 스토리지 접근 불가

 

 

3. SAN

• Storage Area Network
• 서버가 Fiber channel을 통하여 스토리지를 연결하는 기법
• n개의 서버가 m개의 저장장치 접속 가능.
• 전용네트워크(Fiber channel)를 통한 고속 Disk I/O
• 여러 대의 서버가 Fiber Channel Switch를 통하여 하나의 스토리지 공유.
• 부팅용 OS로도 가능 -> SAN 부팅, 디스크 없이도 가능!
• FC(Fiber Channel), iSCSI (Internet Small Computer Systems Interface) 주요 프로토콜
• Seperate LAN and SAN .

 

 

 

 

RAID와 핫스페어

• 스토리지 장비는 인클로저 안에 디스크를 대량으로 탑재할 수 있게 설계됨.
• 그리고 인클로저 안에 탑재된 여러 개의 디스크로 RAID를 구성해, 큰 스토리지 영역으로 사용하는 것이 일반적.
• = 이 스토리지 영역을 '볼륨'이라고 부름.
  
  
• 여러 개의 디스크를 묶어 볼륨으로 사용하면 디스크 하나가 고장나도 RAID로 이중화한 덕에 서비스에 영향을 받지 않는다.
• 고장 난 디스크를 즉시 새 디스크로 교환하면 RAID가 재구성(리빌드) 되기 때문에 스토리지는 아무 일도 없던것처럼 고장나기 전의 상태로 되돌아감.
• 사정이 있어서 고장난 디스크를 곧바로 교환할 수 없을 때는 다른 디스크 마저 고장 나서 RAID 구성이 깨질지도 모르는 위험이 있다. 이런 경우에는 '핫스페어'를 이용하면 효과적!

 

 

핫스페어 

• 다른 디스크가 망가졌을 때를 위해 대기하는 '스탠바이 디스크'를 뜻함.
• 스토리지 인클로저가 디스크 고장을 감지했을 때, 자동으로 핫스페어가 활성화되고 고장난 디스크 대신해 RAID 그룹에 들어간다.
• 핫스페어는 몇 개든 할당할 수 있지만, 여러 개 둘수록 실 사용량은 줄어들고 장애에 대한 대응력은 강화됨!
• 이전에는 인클루저당 핫스페어를 하나씩 둠. -> 자원낭비 But 안정성을 위함...

 

 

 

외부 스토리지를 사용하는 이유는?

1. 데이터의 양이 많아 로컬 스토리지로 충분하지 않을 때 저장 영역을 많이 확보

 

2. 디스크 I/O 성능을 높임

 

3. 스토리지를 통합해서 집중 관리

• 복수의 스토리지를 집약하면 저장 영역을 낭비하지 않고 유용하게 활용할 수 있어서 비용 ↓
• 물리스토리지를 증설하여 저장 영역을 쉽게 늘릴 수 있다.

 

 

 

블록(Block) 스토리지

• 데이터를 일정 크기의 블록(덩어리)으로 나누어 저장하는 방식
• 블록은 파일보다 작은 단위로서 조각으로 나누어 저장한다고 이해하기
• 나뉘어진 블록은 각각의 고유한 주소를 가지고 있고, 이를 통해 블록들을 재구성하여 데이터를 불러옴.
• SAN 또는 가상머신의 디스크로 사용하며, 정형화된 데이터를 빠르게 처리하는 용도로 많이 사용함.
• 장점
  1. 파일 스토리지와 달리 계층 구조가 필요 없고 경로를 다양하게 가지고 있다.
  ---> 그만큼 데이터를 신속하게 검색할 수 있다.
  2. 파티션으로 분할될 수 있어서 서로 다른 운영 체제에서 액세스 가능
  3. 대규모 DB 운영에 맞는 장점
  
  
• 단점
  1. 비싼 비용
  2. 메타데이터 처리가 제한적 --> 관리자의 부담

 

 

 

파일 스토리지

• 파일과 폴더의 계층구조로 이루어진 방식
• 일반적으로 NAS에 사용
• 파일들은 이름, 위치, 생성일, 크기 등의 제한적 메타데이터를 가짐.
• 파일이 늘어나면 데이터도 늘어나고 파일을 찾는것도 그만큼 힘들어짐.
  
  
• 장점
  1. 친숙하고 표준화 되있음 (예를들면 윈도우 탐색기)
  
  
• 단점
  1. 데이터가 많아지면 파일과 폴더를 찾기 위해 리소스가 만이 들기 떄문에 성능이 저하됨.
  --> 스케일 아웃으로 해결해야함.

 

 

 

오브젝트 스토리지

• 평면구조 -> 데이터 접근이 빠르고 확장성이 좋다.
• 오브젝트라는 개별 데이터 단위로 데이터를 저장하는 유형

 

 

 

 

 

씬 프로비저닝

1. 물리 스토리지 용량보다 많은 논리 볼륨을 할당 할 수 있는 기능
2. 할당한 용량만큼의 물리 스토리지를 다 준비하지 않고도 실제 필요한 물리 스토리지만 준비할 수 있다.
3. 가상 서버 환경처럼 게스트 운영체제마다 논리 볼륨을 만드는 환경에서 특히 효과적으로 작동.
4. 쉽게 이야기해서 사용한 만큼만 용량 소비를 하는 방식.
   
   ex) 내가 icloud에서 10G를 구매해서 할당을 받았다 해도 5G밖에 쓰지 않으면 구글에선 5G만 제공하는것임.
   ---> 잉여 자원을 최대한 억제하여 활용성을 높이는 기술
   
   

 

 

 

디둡 

• De-duplication 
• 스토리지 고급 기술 중 하나
• 스토리지를 백업할 때, 먼저 저장된 데이터가 있으면 그 데이터는 복사하지 않기 때문에 저장 영역을 절약할 수 있는 기능. ---> "중복 제거 기능" 이라고도 부름
• 1일차, 2일차, 3일차 마다 백업을 해두는 환경에서는 당연히 중복 데이터가 쌓인다.
• --> 이러한 부분을 제거하면 물리 스토리지 용량을 상당히 절약하고, 백업 시간도 단축할 수 있따.
• 디둡을 구현한 제품 대부분은 "중복 제거 기능" + "데이터 압축 기능" 을 탑재함.
• --> 모든 데이터를 그대로 복사하는 백업 방식보다 훨씬 효율적.

 

 

 

 

 

SAN스위치와 네트워크 스위치의 차이점

• 우선 SAN 스위치란 서버와 스토리지를 연결하는 연결장치
• 블록단위의 데이터(=하드디스크 저장 위치에 따른 단위)를 상호간에 빠르게 전달시키는 역할

 

SAN 스위치	네트워크 스위치
FC protocol 사용	Ethernet을 사용하는 TCP/IP 방식
wwn(World wide Name)이라는 고유 값을 가짐	IP 또는 MAC 이라는 고유값을 가짐
스토리지 전용 네트워킹
일반적으로 광을 이용한 네트워크를 SAN의 표준으로 봄.

 

** FC protocol

• Fiber Channel 연결을 사용하는 SCSI 인터페이스 프로토콜
• 파이버 채널 표준은 슈퍼컴퓨터, 저장 장치 등을 연결하는데 사용할 수 있는 고속 데이터 전송 매커니즘을 정의함.
• 대량의 정보를 매우 빠르게 전송해야 하는 필요성을 해결하고 네트워킹, 저장 및 데이터 전송에 대한 하나의 표준을 제공하므로 시스템 제조업체가 다양한 채널과 네트워크를 지원해야 하는 부담에서 벗어날 수 있었다.
• 상대적으로 noise가 적은 광섬유 통신을 하는 특성을 가짐.
• 빛을 이용해 통신을 하기에 noise가 적고 케이블이 꺽이거나 단절되지 않은 상태에서 유실이 거의 없기에 pear to pear 통신 방식을 채택 하게 됨.
• 이러한 특징 때문에 TCP/IP는 최대 bandwidth를 다 사용하지 못하는 반면에 FC는 최대 bandwidth를 사용 할 수 있다!

 

 

 

** FC Alias ZONING

• 우선 Zoning이란 하나의 Fabric 영역을 가상으로 2개 이상으로 나눈 것.
  ** Fabric 영역이란?
  패브릭은 섬유소재를 짜서 만든 천이라는 뜻, IT환경에서 이런 천이나 직물처럼 아주 촘촘히 연결되 있는 제품군을 패브릭이라고 일컫는다. (= 서비스와 기기들이 서로 긴밀히 연결되있다라는 뜻!)
  
  
• 여러 서버가 동일 스토리지를 사용할 경우 서로 접근하지 못하도록 하기 위해 Zoning을 사용한다!
• --> 각각의 zon을 구성해 zone안에 소속된 장비끼리만 접근하는 개념.
  
  
• FC alias Zoning은 대규모 환경에서 wwn 혹은 스위치 포트에 별칭(alias)을 붙여 쉽게 알아볼 수 있게 별칭(alias) 기반으로 zoning을 하는 방식!
• 직관적인 장점과 더불어 관련 설정이 늘어나기에 작업량이 많아지는 단점이 있다.
• 하지만 추후 유지보수 측면에서 여러 사람이 설정을 공유한다면, 대규모 Fabric에서는 필수적으로 사용을 권장!!