데이터 엔지니어로 살아남기 - 빅데이터에 관리와 처리를 위한 전반적인 기술 데이터 엔지니어로서 필요한 기술에 대해 차근차근, 진득하게 공부해보려 합니다. 정리된 내용은 빅데이터를 지탱하는 기술 도서를 기반으로 합니다. 2-1. 크로스 집계의 기본 1. 크로스 집계의 개념 1. 크로스 테이블(Cross Table) 행과 열이 교차하는 부분(cross)에 숫…

카카오의 분산 스토리지 : KAGE(KAkao storaGE) 동일한 데이터를 3개의 파일(원본 + 2개의 복제본)로 만들어 분산 저장함 - 물리적으로 서로 다른 서버에 있지만, 논리적으로 같은 데이터를 갖고 있는 3개의 청크(청크셋)에 저장 파일 읽기 트래픽 분산, 빠른 장애 파악 및 처리 KAGE의 구성 - Datanode와 Namenode Datan…

스토리지 시스템 기초 DAS(Directed-attached Storage) DAS(직접 연결 스토리지) 서버와 스토리지를 분리하고 둘을 연결하여 사용하는 구조 초기에는 주 기억장치(RAM)와 보조 기억장치(하드 디스크)가 분리되지 않고 같이 쓰임 계산의 성능을 높이고 데이터 보관의 용량과 효율을 높이기 위해 스토리지 시스템인 보조 기억 장치가 탄생하였고…

데이터 엔지니어로 살아남기 - 빅데이터에 관리와 처리를 위한 전반적인 기술 데이터 엔지니어로서 필요한 기술에 대해 차근차근, 진득하게 공부해보려 합니다. 정리된 내용은 빅데이터를 지탱하는 기술 도서를 기반으로 합니다. 1-3. 스크립트 언어에 의한 특별 분석과 데이터 프레임 데이터 처리와 스크립트 언어 원천 데이터는 파일 서버, API 등 다양한 방법으로…