카카오의 분산 스토리지 : KAGE(KAkao storaGE)

동일한 데이터를 3개의 파일(원본 + 2개의 복제본)로 만들어 분산 저장함 - 물리적으로 서로 다른 서버에 있지만, 논리적으로 같은 데이터를 갖고 있는 3개의 청크(청크셋)에 저장 파일 읽기 트래픽 분산, 빠른 장애 파악 및 처리

KAGE의 구성 - Datanode와 Namenode

Datanode(데이터 노드)

• 실제로 파일이 저장된 공간. 파일을 읽고 전송하는 역할.
• 데이터 노드의 파일 저장소는 청크(Chunk)라는 일정한 크기를 가진 저장 공간의 모임으로 구성됨
• 청크가 3개(마스터 노드 1개, 슬레이브 노드 2개) 모인 청크셋 단위로 데이터를 관리함

Namenode(네임 노드)

• 파일을 저장할 공간을 결정하는 역할
• 데이터 노드, 청크, 청크셋 정보를 관리하고, 데이터를 I/O할 스토리지를 선정함
• 네임 노드도 L4 로드밸런서로 부하 분산

데이터 I/O

데이터 Write

1. 네임 노드에 데이터를 쓸 청크셋 정보를 request/response
2. 네임 노드에서 받은 정보를 바탕으로 청크셋의 마스터 데이터 노드에 쓰기 request
3. 요청 받은 마스터는 마스터의 하드디스크에 쓰기 작업 수행 후 나머지 2개의 슬레이브 노드에 데이터 전달하여 쓰기 작업 수행
4. 3개의 노드에서 쓰기 작업이 모두 완료되면 Kage-Key(청크셋ID, 오프셋 등 파일 위치)를 response

데이터 Read

1. 네임 노드에 읽을 데이터의 Kage-Key를 보내 현재 어떤 노드에서 읽기 작업을 수행하는 것이 적절한지 request
2. 네임 노드에서는 각 스토리지의 트래픽/장애 여부에 따라 적절한 노드를 선정하여 response
3. 네임 노드에서 받은 정보를 바탕으로 데이터 노드에 읽기 request/response

성능/용량 효율 향상

1. Kage-Key : key-value 형태로 파일 위치를 관리하여 탐색이 빠름(파일 이름 -> innode -> 디스크 탐색 -> 파일 내용 I/O 과정 대체)
2. Expire 기능 : 청크 청소 스케쥴링 알고리즘을 적용하여 일정 기간 이상 보관된 청크는 삭제 후 재활용함

장애 대응 - IDC 이중화 정책

** IDC(Internet Data Center) : 데이터 센터(서버실)

• 청크셋 구성 시 마스터 노드(1)와 슬레이브 노드(2) 간 IDC를 다르게 하여 IDC의 장애를 빠르게 감지
• 네임 노드 간 IDC 구성 역시 다르게 하여 장애 상황에서도 무중단 서비스 제공

부가 기능

이미지 변환과 동영상 트랜스 코딩 지원

• 이미지/동영상 데이터에 대한 선처리/후처리 작업을 데이터를 저장하는 KAGE 서버에서 수행하여 클라이언트/서비스 단 성능 부담을 줄임

• 이미지/동영상 저장 시 변환 과정

  1. 비디오 트레일러 등 자주 쓰이는 이미지는 캐싱(Public VLAN)
  2. 실제 이미지/동영상 파일은 1차적으로 KAGE 스토리지에 임시 저장
  3. 변환 작업이 필요한 경우 트랜스코딩 API를 호출하여 작업 요청
  4. 작업은 Job Manager에 의해 요청이 접수됨(Job-Queue에서 작업 순서 관리)
  5. Worker는 큐에서 작업을 꺼내어 일부를 트랜스코딩한 후 조각 파일을 임시 저장소에 업로드
  6. Worker가 작업을 완료하면 임시 저장소의 조각 파일을 모아 완전한 파일을 만들어 실제 저장소에 업로드

오브젝트 스토리지 - Meta-Kage

** 오브젝트 스토리지란? : 실제 데이터와 메타 데이터, 데이터의 고유 식별 번호를 저장하여 스토리지 풀 내에서 데이터를 빠르게 찾을 수 있도록 한 스토리지 시스템

• (1)실제 파일을 저장한 KAGE 스토리지 정보인 Kage-Key와 (2)파일 메타 정보(파일 제목, 파일 생성일, 파일을 업로드한 클라이언트 정보 등 자유롭게 구성할 수 있음)를 조합하여 저장한 스토리지
• Key-Value Store 형태
• 오브젝트 스토리지에서 메타 정보를 통해 데이터의 Kage-Key를 찾으면 이를 바탕으로 KAGE 스토리지에서 실제 데이터 탐색

Cold Storage - Cave

** Cold Data : 최근 자주 사용되지 않은 오래된 데이터(<-> Hot Data : I/O 요청이 많은 인기있는 데이터)

• 핫 데이터는 3중화 하여 저장하고, 콜드 데이터는 1.5중화 하여 저장
• 스토리지 용량은 효율적으로 감축하면서 데이터의 신뢰성은 강화
• 총 9개의 블럭으로 데이터를 나누고 9개의 데이터 노드에 나누어 저장. 읽을 때는 6개의 노드를 조합하여 데이터 구성 가능.
• 콜드 데이터를 저장한 스토리지 정보인 Cave-Key를 추가적으로 관리

• 데이터 읽기 방법

  1. 클라이언트는 Kage-Key만을 보유하고 있는 상태. 따라서 Kage-Key를 통해 오브젝트 스토리지에 Cave-Key를 요청하는 API 호출
  2. 오브젝트 스토리지가 Cave-Key를 갖고 있다면 이를 반환(콜드 데이터). 반면 갖고 있지 않다면 핫 데이터를 의미
  3. 조회한 Cave-Key가 있다면 이를 통해 CAVE 읽기 요청. 없다면 KAGE에 읽기 요청
  4. API가 데이터 반환

References

대규모 분산 스토리지(Kage)의 발전과정