데이터 엔지니어로 살아남기 - 빅데이터에 관리와 처리를 위한 전반적인 기술

데이터 엔지니어로서 필요한 기술에 대해 차근차근, 진득하게 공부해보려 합니다.

정리된 내용은 [빅데이터를 지탱하는 기술] 도서를 기반으로 합니다.

2-1. 크로스 집계의 기본

1. 크로스 집계의 개념

1. 크로스 테이블(Cross Table)

• 행과 열이 교차하는 부분(cross)에 숫자 데이터가 들어가는 테이블
• 주로 엑셀 등의 스프레드시트에서 테이블을 표현하는 형태

• 사람이 해석하기는 편하나, 데이터베이스에서 다루기 어려움

  • 데이터베이스는 데이터가 추가될 때 행이 추가됨. 컬럼을 추가하려면 테이블 정의 자체를 변경해야 하므로 상대적으로 어려움.

2. 트랜잭션 테이블(Transaction Table)

• 시계열 데이터가 추가될 때 행 방향으로 추가되는 형태의 테이블
• 데이터베이스에서 기본적으로 데이터를 다루는 형태

3. 크로스 집계(Cross Tabulation)

• 크로스 테이블에서 트랜잭션 테이블로 변환하는 과정

2. 크로스 집계의 방법

(1) 스프레드시트 : 크로스 테이블 기능 활용 (2) BI 도구 : 룩업 테이블 등의 기능을 통해 테이블 조인 후 BI 툴 내에서 크로스 집계 (3) 스크립트 언어 : Pandas의 merge() 기능을 통해 테이블 조인 후 pivot_table() 기능으로 크로스 집계

3. 대량의 데이터 크로스 집계

1. 데이터 집계와 시각화 프로세스의 분리

• 수백만 레코드 이상의 데이터는 크로스 집계가 어려움

• 따라서 (1) 데이터 집계의 프로세스 이후 (2) 데이터 시각화의 프로세스 와 같이 2단계로 분리하여 데이터 집계 및 분석해야 함

  • 데이터 집계의 프로세스 : SQL로 집계
  • 데이터 시각화 프로세스 : BI 등 시각화 도구로 크로스 집계

2. 데이터 마트의 규모

• 데이터 집계와 시각화 사이에 존재하여 대규모의 원천 데이터를 분석 및 활용할 수 있는 구조를 지원함

• 데이터 마트의 규모에 따른 트레이드 오프(trade off)

  • 데이터 마트가 작을수록 시각화하는 것이 간단하지만, 그만큼 시각화에 활용할만한 원천 정보도 적음
  • 반대로 데이터 마트가 커지면, 시각화 성능이 떨어져 활용도가 낮음
• 데이터 마트는 지연이 적은 데이터베이스로 구성해야함

2-2. 열 지향 스토리지에 의한 고속화

메모리에 다 올라가지 않을 정도의 대량의 데이터를 신속히 집계하기 위해서 미리 데이터를 집계에 적합한 형태로 변환해야 함. 집계 효율이 높은 데이터베이스의 구조를 찾아야 함.

1. 데이터 처리의 지연을 줄이는 방법

1. 메모리에서 처리하기(RDB)

• 데이터의 양이 적을 때 적합(수천만 레코드 이하)
• RDB를 이용하되, 모든 레코드를 메모리에 올려서 처리함
• RDB는 지연이 적고, 많은 수의 클라이언트의 동시 접속 대응 가능
• 단, 메모리가 부족할 경우 디스크 I/O가 빈번하게 발생하고 성능이 저하됨
• MySQL, PostgreSQL 등

2. ‘압축’과 ‘분산’에 의해 지연 줄이기(MPP 기술)

• 데이터의 양이 많을 때 적합(수억 레코드 이상)
• 데이터를 가능한 작게 압축하고, 여러 디스크에 분산하여 로드 지연을 줄임
• MPP(Massive Parallel Processing, 대규모 병렬 처리) : 멀티 코어가 병렬적으로 분산된 디스크의 I/O를 처리함
• Amazon Redshift, Google BigQuery 등

처리량과 지연시간

1. 처리량(Throughput) : 일정 시간에 처리할 수 있는 데이터의 양
2. 배치 처리 등의 대규모 데이터 처리에서 중요함 (데이터 웨어하우스, 데이터 레이크 등)
3. 지연시간(Latency) : 데이터 처리가 끝날 때까지의 대기 시간
4. 애드 훅 데이터 분석 등에서 중요함 (데이터 마트)

2. 행 지향 데이터베이스와 열 지향 데이터베이스

데이터 분석을 위해서는 특정 컬럼을 기준으로 한 데이터 값들이 필요한 경우가 많음. 행 지향 데이터베이스는 불필요한 열까지 디스크로부터 로드됨

1. 행 지향 데이터베이스

• 일반적인 RDB에서는 행 단위(레코드)로 데이터를 저장함
• 데이터 쓰기 작업 시 파일 끝에 데이터를 추가하면 되므로 빠르게 쓰기 가능
• 데이터 분석을 위해서는 특정 컬럼을 기준으로 한 데이터 값들이 필요한 경우가 많음. 행 지향 데이터베이스는 불필요한 열까지 디스크로부터 로드된다는 단점이 있음.

2. 열 지향 데이터베이스

• 데이터를 컬럼 별로 보관하고 집계 시 관련된 컬럼만 읽어들임
• 데이터 분석을 위한 집계에는 매우 효율적이나, 데이터 저장 시에는 시간이 오래걸림
• 데이터 압축 효율 우수 : 동일한 칼럼에 저장되는 데이터는 그 형태와 값이 유사함

3. MPP 아키텍처

1. 멀티 코어를 활용한 데이터 처리의 병렬화

• 하나의 쿼리를 다수의 작은 태스크로 분해한 뒤 병렬 실행
• ex) 1억 레코드로 이루어진 테이블의 합계(sum()) : 레코드를 10만 레코드씩 쪼개어 1000번의 sum() 작업을 개별적으로 수행한 뒤, 모든 결과를 모아 총 합계를 계산함

• 이를 위해 다음 3가지 고려해야함

  • (1) 멀티 CPU 코어 수
  • (2) 분산 디스크 수
  • (3) 디스크 간 데이터를 균형있게 분산하기

2. MPP 데이터베이스와 대화형 쿼리 엔진

1. MPP 데이터베이스
2. CPU와 디스크의 균형 있는 스케일 아웃을 위해 하드웨어와 소프트웨어가 통합된 제품으로 제공
3. 하드웨어만 구매하면 알아서 데이터 집계에 최적화된 데이터베이스가 탑재되어 있음
4. 대화형 쿼리 엔진
5. Hadoop과 같은 분산 스토리지에 데이터를 저장하여 사용
6. Hadoop에 열 지향 스토리지를 만들어 데이터를 저장하는 것이 관건(관련 라이브러리 활용 등)

리소스 소비 제한하기

• 특정 사용자가 쓰레기 쿼리를 실행하면 CPU를 점유하여 시스템 과부하가 발생하는 수가 있음
• 따라서 사용자 별 사용 리소스를 제한하도록 알고리즘이나 모니터링 프로세스가 필요함