하둡과 몽고DB 연결하고 맵리듀스 결과 몽고DB에 적재하기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 의존성 설정(이 99%) 아래 블로그 설명 따라 2가지 라이브러리를 추가한다. [Hadoop] 하둡과 MongoDB 연동하는 코드 hadoop 연결에 대한 mongoDB 공식 문서 MapReduce Usage · mongodb/mongo-hadoop Wiki 문제의 시작..(벌써?) 일반적으로 maven 이나 gradle로 빌드하면 위에서 요구하는 2가지 라이브러리를 쉽게 추가할 수 있는데,,,(pom.xml에 태그로 설정하거나 buil…

재난 뉴스 형태소 분석해서 Map Reduce WordCount 해보기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 재난뉴스 형태소 분석하기 파이썬 형태소 분석기 라이브러리 설치 그냥 기사 원문 긁어와서 txt 파일로 만들고 맵리듀스 돌리니 띄어쓰기로만 구분이 되어서… 어구과 명사로 구분할 수 있는 파이썬 형태소 분석기 라이브러리를 사용했다. Open Korean Text 형태소 분석기를 사용했으며 문장을 정규화하거나, 어구, 형태소, 명사 등을 파싱할 수 있다. 형태소 분석기, Okt(Open Korean Text) (구)트위터 형태소분석…

서버에 MongoDB 설치하고 로컬 MongoDB Compass로 사용하기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. MongoDB 사용하기 목표 : 가상환경인 VMWare 우분투에 MongoDB 설치하고 로컬환경인 Windows에 MongoDB GUI인 MongoDB Compass 를 설치하여 연결한다! VMWare에 MongoDB 설치하기 아래 블로그를 참고하여 MongoDB를 설치하고 DB, User를 생성한다. [MongoDB/Linux] 우분투에 몽고DB 설치 및 외부 접속 허용 / MongoDB Compass로 외부 접속 이때 …

서울시 지진 해일 데이터로 Hadoop MapReduce 해보기 ~일간~ 두더지 탈출기 (부제. 삽질 멈춰!…) Seoul Emergency 프로젝트를 진행하며 발생한 에러를 정리합니다. 데이터 준비하기 우분투에서 한글사용하기 요거 따라하기 Ubuntu 20.04 키보드 한글 입력 설정 하기 중요!!! 중간에 install 하다가 인터넷 커넥션 에러 뜰 경우 cmd 창에서 apt 명령어로 업데이트해주기 상단바에서 한글 꼭 설정해줘야함 서울시 열린데이터 광장에서 데이터 다운로드 파이어폭스에서 서울시 열린데이터 광장 접속한 뒤 csv 파일 다운로드 파일명 한글+띄어쓰기 있으면 나중에 귀찮아지므로 적절한 영어로 바꿔주기 …

OpenVidu가 뭘까? 우리의 웹 프로젝트 동작 흐름은 다음과 같다. 웹 페이지 접속 vue로 구현한 프론트엔드 클라이언트 페이지가 띄워진다. 프론트 단에서 클라이언트가 http 요청을 보낸다. spring으로 구현한 백엔드 서버가 http 요청을 받아 처리한다. 백엔드 단에서 서버가 http 응답을 보낸다. 프론트엔드 클라이언트 페이지는 서버로부터 받은 응답 결과를 출력한다. 즉 vue 클라이언트 + spring 서버 로 구성된 상태 여기에 클라이언트끼리 실시간으로 화상 데이터를 주고받기(WebRTC) 위해 미디어 서버를 추가한다.(사실 프론트 단(클라이언트)에서 P2P 통신이 가능하지만 부하가 많이 걸릴 경우 이…

axios 통신 시 params 붙여서 GET 방식 통신하기 일간 두더지 탈출기 (부제. 삽질 멈춰!…) HappyHouse 프로젝트를 진행하며 발생한 에러를 정리합니다. 문제 상황 문제가 발생한 배경은 다음과 같다. 게시판 서비스를 구현하던 중 특정 태그들이 포함된 게시글을 조회하고자 했다. “조회” 목적이기때문에 요청 메서드는 방식으로 보내야 했고, 태그 리스트를 함께 보내야하므로 로 보내려고 했다. 근데, 아무리 프론트에서 태그 리스트를 바디에 포함해서 보내도 백엔드 서버에서는 바디가 없다고 하는거다!! URI가 충돌하는 줄 알고 경로도 바꿔보고 이것 저것 다해봤는데 알고보니 GET + Body가 불가능했던 것…

axios 통신 시 http 상태코드 받아오기 일간 두더지 탈출기 (부제. 삽질 멈춰!…) HappyHouse 프로젝트를 진행하며 발생한 에러를 정리합니다. 현재 진행하는 HappyHouse 프로젝트는 환경의 백엔드 서버와 환경의 프론트로 구성되어 있다. vue의 강점이라고 생각하는 컴포넌트 기반 SPA(Single Page Application) 프로젝트를 진행하기 위해서는 비동기 통신이 필수적인데, 이 때 를 쓴다. JQuery 라이브러리로 프론트를 만들 땐 로 통신했지만, vue에서는 axios를 강력 권장하고 있기 때문에 현재 프로젝트로 axios로 통신하도록 구현하고 있다. SPA 프로젝트에서 비동기 통신…