하둡 맵리듀스 wordcount 예제

Hadoop 설치 및 MapReduce 알고리즘 실습

환경 설정

1. VMWare 설치
2. Ubuntu Linux CD image 다운로드
3. VmWare 가상머신을 생성한 뒤 운영체제 이미지로 Ubuntu 이미지 설정하여 가상 리눅스 환경을 구축
4. 콘솔에서 Hadoop 설치
5. 콘솔에서 Hadoop 환경 설정

Linux, HDFS 디렉토리 구조

Linux 디렉토리

Home
├── Project /* 맵리듀스 프로젝트 */
│	├── src /* 맵리듀스 코드 */
│	|	├── Driver.java /* 맵리듀스 코드 컴파일을 위한 자바 파일 */
│	|	└── Wordcount.java
│	├── template /* 템플릿 */
│	├── datagen /* 데이터 생성을 위한 코드 */
│	├── data /* 데이터를 저장 */
│	└── build.xml /* 맵리듀스 코드 컴파일을 위한 설정 파일 */
|
...

HDFS 디렉토리

hadoop
├── wordcount_test /* 맵리듀스 코드 실행을 위한 데이터 디렉토리 */
└── wordcount_test_out /* 맵리듀스 코드 실행 결과를 저장하는 디렉토리 */

wordcount 예제 실행

1. Project/src/Wordcount.java 구현

2. Project/src/Driver.java 수정하기

   • pgd.addClass("wordcount", Wordcount.java, "A map reduce program that perform word counting)
   • 각 인자 : 실행할 alias, 파일, 멘트

3. 맵리듀스 코드 컴파일

   • Project 디렉토리로 이동
   • $ ant 명령어 수행

4. 테스트 데이터를 HDFS에 넣기

   • Project로 이동
   • $ hdfs dfs -mkdir wordcount_test
   • $ hdfs dfs -put data/wordcount-data.txt wordcount_test

5. 새로운 맵리듀스 실행 결과를 저장할 디렉토리를 확보하기 위해 기존 결과 디렉토리 삭제

   • Project로 이동
   • $ hdfs dfs -rm -r wordcount_test_out

6. 맵리듀스 코드 실행

   • Project로 이동
   • $ hadoop jar [jar file] [program name] [saved data dir] [result dir]
   • $ hadoop jar 결과.jar wordcount wordcount_test wordcount_test_out
   • [program name]에는 Driver.java 파일에 명시한 alias를 넣음

7. 실행 결과 확인

   • $ hdsf dfs -cat wordcount_test_out/part-r-00000 | more
   • $ hdsf dfs -cat wordcount_test_out/part-r-00001 | more
   • Reducer 개수 만큼의 출력 파일이 생성됨.(Reducer 개수 - 1을 인덱스로 하여 접근)