데이터 엔지니어로 살아남기 - 빅데이터에 관리와 처리를 위한 전반적인 기술

데이터 엔지니어로서 필요한 기술에 대해 차근차근, 진득하게 공부해보려 합니다.

정리된 내용은 [빅데이터를 지탱하는 기술] 도서를 기반으로 합니다.

이 책에서 다루는 내용

• 자동화된 데이터 처리(데이터 처리를 시스템화)
• 데이터 처리 과정에서 사용되는 SW, DB, 프로그래밍 언어, 시각화 도구 특징, 데이터 처리를 자동화하는 기술(워크플로우 관리, 스트림 처리 등)

*빅데이터 취급이 어려운 이유

1. 데이터의 분석 방법을 모른다 (데이터 분석가의 역할)
2. 데이터 처리에 수고와 시간이 걸린다 (데이터 엔지니어의 역할)

1-1. [배경]빅데이터의 정착

분산 시스템에 의한 데이터 처리의 고속화

웹 서버 등에서 생성된 데이터는 1차적으로 RDB, NoSQL에 저장. 이후 모든 데이터가 Hadoop에 모이면 대규모 데이터 처리 가능

1. Hadoop

“다수의 컴퓨터에서 대량의 데이터 처리”

• Hadoop : 여러 서비스, 시스템에서 발생한 대규모의 데이터를 처리하기 위해 여러 대의 컴퓨터를 이용해야할 수 있음. 이러한 분산 환경을 관리하는 프레임워크(솔루션)
• Hive : SQL과 같은 쿼리 언어를 이용해 Hadoop 데이터 처리를 가능하게 하는 소프트웨어. Hadoop으로 데이터를 처리하기 위해서는 java 언어를 이용한 MapReduce라는 알고리즘을 이용해야함. 이를 SQL 쿼리 언어로 처리 가능하게 하여 사용성을 높인 솔루션

2. NoSQL 데이터베이스

“빈번한 읽기/쓰기 및 분산 처리가 강점”

• 고속의 읽기, 쓰기, 분산 처리를 용이하게 하여 RDB의 제약을 극복하고 빅데이터를 관리할 수 있는 데이터베이스
• 애플리케이션에서 실시간으로 접속하여 데이터 읽기/쓰기를 하는 데이터베이스
• 키 밸류 스토어, 도큐멘트 스토어, 와이드 칼럼 스토어 등

-> “NoSQL 데이터베이스에 기록하고 Hadoop으로 분산 처리하기”

3. 분산 시스템의 비즈니스 이용 개척

“EDW와 Hadoop의 공존”

• Hadoop 도입 전부터 대량의 비즈니스 데이터 관리(고객 정보, 판매 데이터 등) 및 분석을 위해 EDW(Enterprise Data Warehouse)를 구축하여 사용하고 있는 경우가 있었음.
• 그러나 최근 다수의 빅데이터 분석 도구가 Hadoop, Hive와의 연계를 지원하며 Hadoop 생태계가 조성되는 추세
• 또한 과거 일부 EDW의 경우 HW와 SW가 통합 장비로 제공되어 성능을 높이려면 HW가 교체되어야하는 등의 불편함이 있었음
• 따라서 대량+실시간(매일, 주기적 작업) 데이터 처리는 Hadoop으로, 작은 데이터, 중요 데이터는 DW로 분리하여 관리

스몰데이터란?

• 종류 : 엑셀 데이터, CSV 등
• 규모 : 수백만 ~ 수천만 레코드, 수 GB
• 스몰데이터의 경우 데이터 양이 증가하면 처리 시간이 급격히 증가함. 빅데이터의 경우 스몰데이터와 비교하여 데이터의 양이 늘어나도 처리시간의 증가는 억제됨.
• 데이터 양이 적은 상황에서는 스몰데이터 기술이 더 우수함.

1-2. 빅데이터 시대의 데이터 분석 기반

빅데이터 기술과 DW와의 차이점 : 빅데이터 기술은 다수의 분산 시스템을 조합하여 확장성이 뛰어난 데이터 처리 구조를 만드는 것

1. 데이터 파이프라인

“데이터 수집에서 워크플로우 관리까지”

1) 데이터 수집

• 벌크(bulk) 형 : 이미 축적된 데이터를 정리 및 추출하는 방법. 데이터베이스, 파일 서버에서 정기적으로 데이터를 수집하는 데 사용.
• 스트리밍(streaming) 형 : 차례로 생성되는 데이터를 끊임없이 계속해서 보내는 방법. 모바일 앱, 임베디드 장비 등에서 데이터를 수집하는 데 사용.

2) 데이터 처리(스트림 처리와 배치 처리)

• 스트림(stream) 처리 : 스트리밍 형 방법으로 받은 데이터를 실시간으로 처리하고 싶을 때(ex. 실시간 데이터 분석, 과거 30분간의 데이터를 집계하여 그래프를 그림 등). 시계열 데이터베이스 등으로 관리
• 배치(batch) 처리 : 대량의 데이터를 저장하고 처리하고 싶을 때(ex. 장기간 데이터 분석, 지난 1년간의 데이터를 집계하여 분석하는 등). 분산 시스템 등으로 관리

3) 데이터 저장(분산 스토리지, 객체 스토리지, NoSQL 데이터베이스)

• 분산 스토리지(distribute storage) : 여러 컴퓨터와 디스크로 구성된 스토리지 시스템
• 객체 스토리지(object storage) : 한 덩어리로 모인 데이터 이름을 부여하여 파일로 저장. Amazon S3 등
• NoSQL 데이터베이스 : 애플리케이션에서 실시간으로 대용량의 데이터를 읽기/쓰기할 때 유리. 단, 향후 확장성을 고려하여 제품 선택해야 함.

4) 분산 데이터 처리

• 분산 스토리지에 저장된 데이터를 MapReduce 등의 프레임워크를 이용해 처리하는 과정.
• 목적 : 분산 스토리지에 저장된 데이터를 향후에 언제든지 쉽게 분석하기 위해 가공하여 외부 데이터베이스에 저장하는 것
• MapReduce 이외의 SQL 쿼리를 이용해 집계하는 방법 발전됨(아래 2가지 방법)
• 쿼리 엔진 도입 : Hive, 대화형 쿼리 엔진(interactive query engine) 등
• 외부의 데이터 웨어하우스 제품 이용 : 분산 스토리지 데이터를 DW에 적재(ETL)하여 사용

데이터베이스에 적재하기 전 미리 데이터를 가공하는 프로세스를 ETL(Extract-Transform-Load), 데이터베이스에 우선 데이터를 읽어들이고 필요에따라 가공하여 사용하는 프로세스를 ELT(Extract-Load-Transform)라고 함

5) 워크플로우 관리

• 배치 스케쥴링, 오류 발생 시 처리(관리자 통지, 재 처리

2. 데이터 웨어하우스와 데이터 마트

“데이터 파이프라인 기본형”

1) DW(Data Warehouse, 데이터 웨어하우스)

• 대량의 데이터를 장기 보존
• 정리된 데이터를 한 번에 전송하는 것에 유리함, 소량의 데이터를 자주 읽고 쓰는 데에는 불리
• 주로 업무 시스템에서 꺼낸 데이터를 하루가 끝날 때 정리하여 쓰고, 이를 활용해 야간 시간에 집계하여 보고서 작성하는 방식으로 사용
• 데이터 소스(data source, 업무 시스템을 위한 RDB, 로그 데이터를 저장하는 파일 서버 등)에서 로우 데이터(raw data, 원시 데이터)를 추출하고, 필요에 따라 가공하여 DW에 저장(ETL 프로세스)

2) DM(Data Mart, 데이터 마트)

• DW에서 필요한 데이터만을 추출하여 데이터 분석, 시각화(BI)용 테이블을 구축한 것
• DW는 업무에 중요한 데이터 처리가 연계되어 있으므로 분석을 위해 자주 접근할 경우 시스템 과부하되어 문제 발생 가능
• DM 구축을 위해서는 테이블 설계, DW에서의 ETL 프로세스 설계가 매우 중요함

3. 데이터 레이크와 데이터 마트

1) DL(Data Lake, 데이터 레이크)

“데이터를 그대로 축적”

• 모든 데이터를 원래의 형태로 축적해두고 나중에 필요에 따라 DM 등으로 가공하여 사용하기 위한 구조
• 분산 스토리지가 데이터 레이크로 이용됨.
• DW의 포지션에 DL이 치환되는 아키텍처로 데이터 관리할 수 있음. 단, DW 아키텍처에서는 ETL 프로세스를 통해 DW에 맞게 데이터를 가공하지만, DL 아키텍처에서는 미가공의 원시 데이터를 그대로 저장한다는 차이가 있음.
• DL은 스토리지 개념이므로 MapReduce 등의 분산 데이터 처리 기술을 이용해 DM으로 데이터를 가공한 뒤, 분석하는 데 사용할 수 있음

데이터 파이프라인 구축 시 고민해야할 점

• 저장할 수 있는 데이터 용량에 제한이 없을 것
• 데이터를 효율적으로 추출할 수단이 있을 것

4. 데이터를 수집하는 목적

“검색, 가공, 시각화의 세 가지 예”

• 데이터 검색 : 필요 시 대량의 데이터에서 조건에 맞는 결과를 신속하게 검색하여 얻기 위한 목적(수동) 시스템 로그, 고객의 행동 이력 등의 로우 데이터에서 실시간 데이터 처리, 검색 엔진 등을 사용하여 키워드를 찾는 것이 관건 ex. 시스템 장애 발생 시 원인 파악, 고객 문의 시 로그 확인 등
• 데이터의 가공 : 업무 시스템의 일부로서 데이터 처리 결과를 이용하고 싶을 때 데이터를 가공하여 사용(자동화) 워크플로우를 통해 자동화된 처리 필요 ex. 웹 사이트에서 추천 상품 제안, 센서 데이터의 비정상적 상태 감지 및 통보 등
• 데이터 시각화 : 데이터를 시각적으로 표현하여 의미를 파악(수동, 자동화) 효율적인 시각화를 위해 데이터 마트 구축하여 사용 ex. 통계 분석 SW, BI 도구로 그래프를 만들고 미래 상황을 예측하거나 의사결정의 바탕으로 사용

기간계 시스템과 정보계 시스템의 분리

• 기간계 시스템(mission-critical system) : 비즈니스 처리와 관련된 중요 시스템으로 현업에 직접적으로 사용되고 영향을 미치는 시스템
• 정보계 시스템(information system) : 사내 커뮤니케이션, 의사결정 등을 위해 이용되는 시스템
• 데이터는 기간계 시스템과 정보계 시스템을 연결하는 것. 분석을 위한 데이터는 기간계에서 정보계로 복사하여 사용함으로써 기간계 시스템에 부하를 줄이고 분석 성능, 효율성을 높임
• 한 번 복사한 데이터는 지우지 않도록 주의하며, 분석에 필요한 데이터만을 가공(DM 등)하여 사용한다.