하둡 맵리듀스 프레임워크

맵리듀스 프레임워크(MapReduce Framework)

맵리듀스 프레임워크란?

데이터 중심 프로세싱(빅데이터 처리)은 비싸고 복잡한 연산들이 요구된다. 복잡한 연산을 위해 컴퓨터의 성능을 향상시키는 scale-up(수직적 성능 향상) 방법과 scale-out(수평적 성능 향상) 방법이 있는데, scale-out한 방법이 비용 측면에서 더욱 유리하다.

맵리듀스 프레임워크란 저렴한 컴퓨터를 모아 클러스터를 만들고 이를 통해 빅데이터를 처리하도록 scalable한 병렬 소프트웨어를 구현하기 위한 프로그래밍 모델이다.

구글 맵리듀스(MapReduce), 아파치 하둡(Hadoop) 오픈 소스는 맵리듀스 프레임워크의 구현체이다.

MapReduce Phase

• 맵 페이즈(Map Phase)

  • 가장 먼저 수행되며 데이터의 여러 파티션에 병렬 분산 호출되어 수행됨
  • 각 머신마다 수행되는 Mapper는 입력 데이터 한 줄마다 Map 함수를 호출함
  • Map 함수는 (Key, Value) 쌍 형태로 결과를 출력함
  • Map 함수 결과 같은 Key를 가진 쌍은 같은 머신으로 보내짐

• 셔플링 페이즈(Shuffling Phase)

  • 모든 머신의 맵 페이즈가 종료되면 시작됨
  • Map 함수에 의해 각 머신으로 보내진 (Key, Value) 쌍을 Key를 이용해 정렬
  • 같은 Key를 가진 쌍끼리 모아 Value-List를 만든 뒤, (Key, Value-List) 쌍 형태로 여러 머신에 분산하여 보냄

• 리듀스 페이즈(Reduce Phase)

  • 모든 머신의 셔플링 페이즈가 종료되면 시작됨
  • Reduce 함수는 머신의 각 (Key, Value-List) 쌍마다 호출됨

하둡(Hadoop)

아파치의 맵리듀스 프레임워크 오픈소스

하둡 분산 파일 시스템(HDFS, Hadoop Distributed File System)

빅데이터 파일을 여러 컴퓨터에 나누어 저장하는 기술. 각 파일을 여러개의 순차적인 블록으로 저장한다.

하나의 파일의 각 블록은 여러번 복사되어 머신의 곳곳에 분산하여 저장된다. 이를 통해 시스템 일부에서 결함이 발생하더라도 끊김없이 기능을 수행할 수 있다(fault tolerance).

주요 구성 요소

• MapReduce : 소프트웨어 수행을 분산
• HDFS : 데이터를 분산

Namenode와 Datanode

• Namenode : Master, 클라이언트가 파일에 접근하는 파일 시스템을 관리
• Datanode : Slaves, 컴퓨터 내 데이터 접근을 관리

MapReduce 함수

• Map 함수

  • 입력 텍스트 파일의 라인마다 호출됨
  • 입력은 (Key, Value-List) 형태
  • Key : 입력 텍스트 파일 각 라인의 첫번째 문자(character)까지 오프셋
  • Value : 각 라인 전체 문자열

• Reduce 함수

  • Shuffling 페이즈의 출력을 입력으로 받는 (Key, Value-List) 형태

• Combine 함수

  • 만약 호출된다면 Shuffling 페이즈 이전 Map 페이즈 이후 호출됨
  • Map 함수의 출력 결과 크기를 줄이는 역할(Combine 함수를 호출한 뒤 Shuffling 페이즈와 Reduce 페이즈를 거치면 연산 비용을 절감할 수 있음)
  • 각 머신에서 Reduce 함수를 이용하는 것처럼 수행됨

MapReduce를 이용한 Word Counting 알고리즘

1. Map Phase

머신 1과 머신 2가 있다고 가정한다. 각 머신에는 문서가 여러개 존재하고 각 문서의 텍스트에서 단어를 카운트하고 싶다.

<Machine 1>

• Document 1 : Financial, IMF, Economics, Crisis
• Document 2 : Financial, IMF, Crisis

<Machine 2>

• Document 3 : Economics, Harry
• Document 4 : Financial, Harry, Potter, Film
• Document 5 : Crisis, Harry, Potter

각 머신마다 Mapper가 수행되고 다시 Mapper는 문서의 각 라인마다 Map 함수를 호출한다. 실행 결과는 다시 같은 Key를 가진 쌍끼리 모이도록 여러 머신에 분산하여 저장한다.

<Machine 1> 에 저장

Key	Value
Financial	1
Economics	1
Economics	1
Financial	1
Crisis	1
Financial	1
Film	1
Crisis	1
Crisis	1

<Machine 2> 에 저장

Key	Value
IMF	1
Harry	1
Harry	1
Potter	1
IMF	1
Harry	1
Potter	1

2. Shuffling Phase

Map 페이즈 결과 각 머신에 분산 저장된 데이터에서 같은 Key를 가진 쌍끼리 묶어 (Key, Value-List) 쌍으로 만든다. 결과는 Key를 기준으로 정렬한다.

<Machine 1>

Key	Value
Crisis	1, 1, 1
Economics	1, 1
Film	1
Financial	1, 1, 1

<Machine 2>

Key	Value
Harry	1, 1, 1
IMF	1, 1
Potter	1, 1

3. Reduce Phase

Shuffling 페이즈 결과 각 머신마다 Reducer가 수행되고 다시 Reducer는 각 (Key, Value-List) 쌍마다 Reduce 함수를 호출한다.

<Machine 1>

Key	Value
Crisis	3
Economics	3
Film	1
Financial	3

<Machine 2>

Key	Value
Harry	3
IMF	2
Potter	2

번외. Combine 함수 적용하기

일반적으로 위와 같이 Map 페이즈 결과를 여러 머신에 분산하여 저장한 채 Shuffling 페이즈로 넘어간다. Combine 함수는 Map 함수 결과를 각 머신에 분산 저장하기 전 각 머신 별 Map 함수 결과에 적용한다. Combine 함수를 호출하면 다음과 같이 출력한다.

<Machine 1>

Key	Value
Financial	2
IMF	2
Economics	1
Crisis	2

<Machine 2>

Key	Value
Economics	1
Harry	3
Financial	1
Potter	2
Film	1
Crisis	1

Combine 함수는 위와 같이 Map 함수 결과를 부분적으로 합산하여 Reduce 함수가 할 일을 사전에 수행한다.

Combine 함수를 수행한 결과로 Shuffling 페이즈는 다음과 같은 결과를 출력한다. 따라서 Reduce 함수 연산이 더욱 빨라진다.

Key	Value
Financial	2, 1
IMF	2
Economics	1, 1
Crisis	2, 1
Harry	3
Film	1
Potter	2

Combine 함수

• 각 머신에서 Map 함수가 종료된 뒤 호출되며, Reduce 함수의 역할을 부분적으로 수행한다.
• 셔플링 비용과 네트워크 트래픽을 감소하여 성능을 향상시킨다.