하둡과 몽고DB 연결하고 맵리듀스 결과 몽고DB에 적재하기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 의존성 설정(이 99%) 아래 블로그 설명 따라 2가지 라이브러리를 추가한다. [Hadoop] 하둡과 MongoDB 연동하는 코드 hadoop 연결에 대한 mongoDB 공식 문서 MapReduce Usage · mongodb/mongo-hadoop Wiki 문제의 시작..(벌써?) 일반적으로 maven 이나 gradle로 빌드하면 위에서 요구하는 2가지 라이브러리를 쉽게 추가할 수 있는데,,,(pom.xml에 태그로 설정하거나 buil…

재난 뉴스 형태소 분석해서 Map Reduce WordCount 해보기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 재난뉴스 형태소 분석하기 파이썬 형태소 분석기 라이브러리 설치 그냥 기사 원문 긁어와서 txt 파일로 만들고 맵리듀스 돌리니 띄어쓰기로만 구분이 되어서… 어구과 명사로 구분할 수 있는 파이썬 형태소 분석기 라이브러리를 사용했다. Open Korean Text 형태소 분석기를 사용했으며 문장을 정규화하거나, 어구, 형태소, 명사 등을 파싱할 수 있다. 형태소 분석기, Okt(Open Korean Text) (구)트위터 형태소분석…

서버에 MongoDB 설치하고 로컬 MongoDB Compass로 사용하기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. MongoDB 사용하기 목표 : 가상환경인 VMWare 우분투에 MongoDB 설치하고 로컬환경인 Windows에 MongoDB GUI인 MongoDB Compass 를 설치하여 연결한다! VMWare에 MongoDB 설치하기 아래 블로그를 참고하여 MongoDB를 설치하고 DB, User를 생성한다. [MongoDB/Linux] 우분투에 몽고DB 설치 및 외부 접속 허용 / MongoDB Compass로 외부 접속 이때 …

서울시 지진 해일 데이터로 Hadoop MapReduce 해보기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 데이터 준비하기 우분투에서 한글사용하기 요거 따라하기 Ubuntu 20.04 키보드 한글 입력 설정 하기 중요!!! 중간에 install 하다가 인터넷 커넥션 에러 뜰 경우 cmd 창에서 apt 명령어로 업데이트해주기 상단바에서 한글 꼭 설정해줘야함 서울시 열린데이터 광장에서 데이터 다운로드 파이어폭스에서 서울시 열린데이터 광장 접속한 뒤 csv 파일 다운로드 파일명 한글+띄어쓰기 있으면 나중에 귀찮아지므로 적절한 영어로 바꿔주기 …